rss 推荐阅读 wap

凤舞科技网_软件|硬件|无线|编程|网络|科技|数码|大数据|云计算|科技资讯网

热门关键词:  xxx  as  test   etc passwd  罗克佳华
首页 科技 大数据 软件 无线 硬件 编程 网络 数码 云计算 快讯

深入了解一下到底什么是大数据

发布时间:2020-01-14 已有: 人阅读

  对于很多人来说,当他第一次听到“大数据”这个词,会自然而然从字面上去理解——认为大数据就是大量的数据,大数据技术就是大量数据的

  大数据比想象中复杂。它不只是一项数据存储技术,而是一系列和海量数据相关的抽取、集成、管理、分析、解释技术,是一个庞大的框架系统。

  广义的定义,有点哲学味道——大数据,是指物理世界到数字世界的映射和提炼。通过发现其中的数据特征,从而做出提升效率的决策行为。

  狭义的定义,是技术工程师给的——大数据,是通过获取、存储、分析,从大容量数据中挖掘价值的一种全新的技术架构。

  获取数据、存储数据、分析数据,这一系列的行为,都不算新奇。我们每天都在用电脑,每天都在干这个事。

  例如,每月的月初,考勤管理员会获取每个员工的考勤信息,录入Excel表格,然后存在电脑里,统计分析有多少人迟到、缺勤,然后扣TA工资。

  但是,同样的行为,放在大数据身上,就行不通了。换言之,传统个人电脑,传统常规软件,无力应对的数据级别,才叫“大数据”。

  我们传统的个人电脑,处理的数据,是GB/TB级别。例如,我们的硬盘,现在通常是1TB/2TB/4TB的容量。

  1TB,只需要一块硬盘可以存储。容量大约是20万张照片或20万首MP3音乐,或者是671部《红楼梦》小说。

  1PB,需要大约2个机柜的存储设备。容量大约是2亿张照片或2亿首MP3音乐。如果一个人不停地听这些音乐,可以听1900年。。。

  1EB,需要大约2000个机柜的存储设备。如果并排放这些机柜,可以连绵1.2公里那么长。如果摆放在机房里,需要21个标准篮球场那么大的机房,才能放得下。

  而到2020年,全球电子设备存储的数据,将达到35ZB。如果建一个机房来存储这些数据,那么,这个机房的面积将比42个鸟巢体育场还大。

  第一个阶段,就是计算机被发明之后的阶段。尤其是数据库被发明之后,使得数据管理的复杂度大大降低。各行各业开始产生了数据,从而被记录在数据库中。这时的数据,以结构化数据为主(待会解释什么是“结构化数据”)。数据的产生方式,也是被动的。

  第二个阶段,是伴随着互联网2.0时代出现的。互联网2.0的最重要标志,就是用户原创内容。随着互联网和移动通信设备的普及,人们开始使用博客、cebook、youtube这样的社交网络,从而主动产生了大量的数据。

  第三个阶段,是式系统阶段。随着物联网的发展,各种各样的层节点开始自动产生大量的数据,例如遍布世界各个角落的传感器、摄像头。

  行业里对大数据的特点,概括为4个V。前面所说的庞大数据体量,就是Volume(海量化)。除了Volume之外,剩下三个,分别是Variety、Velocity、Value。

  数据的形式是多种多样的,包括数字(价格、交易数据、体重、人数等)、文本(邮件、网页等)、图像、音频、视频、信息(经纬度、海拔等),等等,都是数据。

  从名字可以看出,结构化数据,是指可以用预先定义的数据模型表述,或者,可以存入关系型数据库的数据。

  大数据还有一个特点,那就是时效性。从数据的生成到消耗,时间窗口非常小。数据的变化速率,还有处理过程,越来越快。例如变化速率,从以前的按天变化,变成现在的按秒甚至毫秒变化。

  大数据的数据量很大,但随之带来的,就是价值密度很低,数据中真正有价值的,只是其中的很少一部分。

  2014年美国爆炸案,现场调取了10TB的数据(包括移动基站的通讯记录,附近商店、加油站、报摊的以及志愿者提供的影像资料),最终找到了嫌疑犯的一张照片。

  早在1980年,著名未来学家阿尔文·托夫勒在他的著作《第三次浪潮》中,就明确提出:“数据就是财富”,并且,将大数据称为“第三次浪潮的华彩乐章”。

  进入21世纪之后,随着前面所说的第二第三阶段的发展,移动互联网崛起,存储能力和云计算能力飞跃,大数据开始落地,也引起了越来越多的重视。

  2012年的世界经济论坛指出:“数据已经成为一种新的经济资产类别,就像货币和黄金一样”。这无疑将大数据的价值推到了前所未有的高度层面上。

  之所以大数据会有这么快的发展,就是因为越来越多的行业和企业,开始认识到大数据的价值,开始试图参与挖掘大数据的价值。

  大数据通过相关性分析,将客户和产品、服务进行关系,对用户的偏好进行定位,从而提供更精准、更有导向性的产品和服务,提升销售业绩。

  像阿里淘宝这样的电子商务平台,积累了大量的用户购买数据。在早期的时候,这些数据都是累赘和负担,存储它们需要大量的硬件成本。但是,现在这些数据都是阿里最宝贵的财富。

  通过这些数据,可以分析用户行为,精准定位目标客群的消费特点、品牌偏好、地域分布,从而引导商家的运营管理、品牌定位、推广营销等。

  除了电商,包括能源、影视、证券、金融、农业、工业、交通运输、公共事业等,都是大数据的用武之地。

  企业生产经营需要大量的资源,大数据可以分析和锁定资源的具体情况,例如储量分布和需求趋势。这些资源的可视化,可以帮助企业管理者更直观地了解企业的运作状态,更快地发现问题,及时调整运营策略,降低经营风险。

  从技术上,大数据是依赖于云计算的。云计算里面的海量数据存储技术、海量数据管理技术、分布式计算模型等,都是大数据技术的基础。

  物联网就是“物与物互相连接的互联网”。物联网的层,产生了海量的数据,将会极大地促进大数据的发展。

  同样,大数据应用也发挥了物联网的价值,反向刺激了物联网的使用需求。越来越多的企业,发觉能够通过物联网大数据获得价值,就会愿意投资建设物联网。

  5G刺激物联网的发展,而物联网刺激大数据的发展。所有通信基础设施的强大,都是为大数据崛起铺平道。

  大数据的产业链,和大数据的处理流程是紧密相关的。简单来说,就是生产数据、聚合数据、分析数据、消费数据。

  从目前的情况来看,国外厂商在大数据产业占据了较大的份额,尤其是上游领域,基本上都是国外企业。国内IT企业相比而言,存在较大的差距。

  数据是资产,也是隐私。没有人愿意自己的隐私被,所以,人们对自己的隐私越来越重视。也在不断加强对隐私权的,出台了很多法律。

  欧盟在2018年出台了有史以来最严厉的PR(《一般数据保案》),把网络数据上升到前所未有的高度

  在这种情况下,企业获取用户数据,就需要慎重考虑,是否符合伦理和法律。一旦违法,将付出极为沉重的代价。

  文章出处:【微信号:iawbs2016,微信号:宽禁带半导体技术创新联盟】欢迎添加关注!文章转载请注明出处。

  随着国家《新型城镇化》、大数据战略等相关政策的出台,中国逐渐迈进建设数字中国的时代,物联网大数据发展....

  据了解,此次学术沙龙共同针对物联网技术在监测领域中的应用现状、遇到的问题及未来发展,领域信息....

  江西省发改委党组、主任张和平日前透露,一年来,江西大力发展数字经济。省发改委会同相关部门“一产一....

  国内首家“智慧管网联合创新实验室”日前在广州揭牌。该实验室由中国石化销售华南分公司(以下简称“销售华....

  粤海水务及旗下智慧水务平台科荣软件与腾讯云签署战略合作协议,双方将在智慧水务领域开展全面合作,共同推....

  中国通服作为全球最大的通信基础设施建设者和全球领先的信息通信支撑一体化服务提供商,具有提供业务独特的....

  从品类来看,智能家居系统、智能锁、智能单品(如智能音箱及其他智能产品等)、智能机器人等分类最受意向加....

  大数据将有助于确保自动驾驶汽车的未来,而物联网的持续发展将成为自动交通世界的必要组成部分。

  时间将证明“大数据”和人工智能融入电影创作是积极的,或是相反,电影和电视剧导演的创造力和创新力。....

  在进入终端消费者市场后,王力安防致力于线上线下渠道整合、用户体验、个性化定制、市场营销和智能家居产品....

  以数字技术、智能技术为基础,在互联网、物联网、云计算、大数据的支持下,制造模式、商业模式、产业形态将....

  以往住酒店没带身份证,还得跑到开临时身份证明,现在只需在酒店的自助终端机上“刷脸”认证就可核验....

  借助移动互联网技术的发展,流量红利催生了一批互联网巨头,利用其多元化、综合化的业务,形成了C端客户入....

  通过混凝土区块链不断探索发展,腾讯云将协助深圳市宝安区部门推动大数据、云计算、区块链和建筑耗材混....

  混合计算大连接平台把我们的所有能力聚集到这,变成文档,变成接口,变成规范,把这个规则放到这,任何人都....

  CES 2020 上,希捷宣布了两项重要的公告。其一是外置存储设备阵容的更新,其二与 Lyve Dr....

  今年的消费电子展上,博帝(Patriot)推出了 EVLVR 系列 3 移动固态硬盘的增强版本。

  “打开手机APP就能查到附近的充电桩,一找一个准。”去年乌镇戏剧节期间,家住浙江杭州的胡天义开车来到....

  为物联网开发解决方案需要对系统中的每个部分以及整个系统进行前所未有的协作、协调和连接。所有设备必须协....

  大数据的另一个支持者是系统与外部平台同步,以获得大量数据和见解。它与整个技术的“互联”和智能连接在一....

  随着遥感卫星在社会生产和生活各领域应用范围的不断扩大,遥感卫星行业发展也步入快速增长期,诸多问题也不....

  Python语言目前是IT行业内最为流行的编程语言之一,同时Python也是全场景编程语言之一,目前....

  “中国智能交通三十强”是智能交通行业最权威的年度评选活动,也是智能交通市场的风向标。本次评选是由深圳....

  未来人工智能是金融行业中最有利的辅助工具,它们将增强人类的智能,帮助人类做出更有效的决策,人类与人工....

  随着5G时代的到来,生物识别作为一个新兴的产业受到资本的追捧。但是,将人体的生物体征作为密码是否又能....

  当前,正在编纂的民人格权编草案对个人生物识别信息也提供了多重:一是,在一定载体上所反映的特定....

  随着智能化的不断快速发展,智慧工厂也慢慢成为行业的趋势,许多企业会在工厂采用RFID来管理。

  近年来,随着移动互联网的发展,基于移动互联网应用的大数据分析越来越多。“大数据”日益成为一个热门的词....

  工控机在开机启动时,出现错误提示信息“Harddiskinstallilure“后,工控机无法正....

  1月9日消息,鲁大师公布2019硬盘性能排行,三星PM981拿下“最强硬盘”,金士顿 SA400S3....

  1月9日消息,鲁大师公布2019硬盘性能排行,三星PM981拿下“最强硬盘”,金士顿 SA400S3....

  数据仓库的一般概念非常简单:从支持业务流程的操作系统中定期提取数据副本,并将其加载到单独的存储库中,....

  根据消息报道,SK 海力士在CES 2020上发布了发布了两款M.2 PCI NVMe固态硬盘,分别....

  相比人脑,大数据时代的人工智能最大的优势在于,可以处理和储存海量数据,在对大数据进行学习的基础上,通....

  我国证券市场监管体系中,证券交易所负责交易监管、上市公司监管、会员监管等一线监管职能,也是承担违法违....

  在产业互联网的推动下,大数据的发展趋势将逐渐向智能化领域发展,由于人工智能是大数据应用的重要出口,所....

  大数据智能网络服务系统直接处理数据,为用户提供服务结果,这种业务由计算机流程自动处理数据,系统完全依....

  从大数据利用的方式上,也可产生几个方面的价值。首先,大数据的价值密度较低,现在可利用和分析的数据只是....

  在考核大数据安全分析平台时,要确保对以下五个要素进行评估,这对实现大数据分析的效果非常关键。

  在大数据应用技术中,前端的数据清洗功能远比我们想象的更重要。没有好的清洗自然也不可能有后续的数据建模....

  2020第十二届国际数据中心技术设备展览会 2020 the 12th beijing international data center technology equipment exhibit...

  Replacement instructions for the X-Series (MXA/EXA) hard drive. N9020-90087...

  目前的硬盘机中,基于PC和采集卡的一般采用Windows系统,文件系统则多采用NTFS或FAT32;而嵌入式硬盘机所采用...

  This guide will help you understand which hard drive option to order based upon your specific oscilloscope....

  物联网应用技术中,嵌入式技术是至关重要的。但是,至少有60%的人不了解什么是嵌入式技术。物联网时代的到来,不管是从行业应用,...

最火资讯

首页 | 科技 | 大数据 | 软件 | 无线 | 硬件 | 编程 | 网络 | 数码 | 云计算 | 快讯 |免责声明

2011-2038 凤舞科技网(www.foxzw.com)版权所有 Power by DedeCms

电脑版 | wap |