大数据时代

简介:  前两天,在环球上看到一条新闻——京津冀一体化首枚棋子落定 中关村牵手河北高新区,点开后,发现提到我的家乡,“近日从北京中关村管委会获悉,今年起中关村将牵头建立一条“京津冀大数据走廊”,依托三地大数据上下游企业自发形成的联盟,推动京津冀形成大数据产业带。

 前两天,在环球上看到一条新闻——京津冀一体化首枚棋子落定 中关村牵手河北高新区,点开后,发现提到我的家乡,“近日从北京中关村管委会获悉,今年起中关村将牵头建立一条“京津冀大数据走廊”,依托三地大数据上下游企业自发形成的联盟,推动京津冀形成大数据产业带。张北草原,常年风寒。不久后一座密布金属网格的四方建筑将成为这里的新地标,这是中关村的北京国电通网络技术有限公司与张北县政府合作建设的大数据中心。数据中心会产生巨大的热量,张北的低温和大风可为其降温,同时张北生产的风电也将满足大数据中心的用电需求。”虽然不止一次听到“大数据”,但对他的了解却甚少。


“大数据”自2011年一路走红,至今已成为业界当之无愧的焦点。尤其是随着新型SNS网络的发展、视频流量的猛增及图片分享需求的涌现,大数据在肥沃的土壤中更加迅速的成长。 

一、“大数据”的产生

“ 大数据”是一个术语,是一个带有文化基因和营销理念的词汇,但同时也反映了科技领域中正在发展中的趋势,这种趋势为理解这个世界和作出决策的新方法开启了一扇大门。“大数据”的出现不是一个偶然的事情,它是在信息化、网络化高度发达的今天,在这个数据整天飞的时代所必须要经历的过程。这个现象的出现同时又给网络安全及维护,信息攻击及防御带来了新的问题和挑战。

    维基百科上说:大数据指的是“网络公司日常运营所生成和积累用户网络行为”,数据增长如此之快,以至于难以使用现有的数据库管理工具来驾驭,困难存在于数据的获取、存储、探索、共享、分析和可视化等方面。数据量的增长到现在,已经不是以我们所熟知的多少G和多少T来描述了,而是以P(1千T),E(1百万T)或Z(10亿T)为计量单位。百度对此给予了更形象的描述。光是其新首页导航每天就要从超过1.5PB的数据中进行挖掘,这些数据如果打印出来将超过5千亿张A4纸,摞起来会超过4万公里高,接近地球同步卫星轨道长度,平铺可以铺满海南岛。而2020年新增的数字信息成长幅度将是2009年的近45倍。如今,只需要两天就能创造出自文明诞生以来到2003年所产生的数据总量。

二、大数据的特点

    大数据,不仅仅是指大量的数据,也不是仅仅指数据的指数增长速度,它是对需要对当前架构需要做出调整的数据进行在理解上的新的方式和理念。对数据整合算法,数据结构理解使用上的新的方法的研究势在必行。

“大数据”不仅有“大”这个特点,还有很多其他的特色。总体而言,可以用“4V+1C”来概括,即Variety(多样化)、Volume(海量)、Velocity(快速)、Vitality(灵活)、Complexity(复杂)。

 

三、“大数据“对当今信息时代产生的影响

1.行业发展层面

   正在生成的海量异构数据中可能蕴含着目前尚未被认识到的全新知识。企业如果能在这些非结构化数据中挖掘出新的知识并与业务融合,不但其决策的依据将会更加全面和准确,而且有可能形成新的核心竞争力,进而在生产模式、商业模式、管理模式等方面发生深刻变革。

2.思维方式层面

   大数据的产业链主要有三个层面,第一层是数据层,主要是数据的采集、存储、传输、扩散;第二层是信息层,把数据背景融入数据,形成价值密度更高的信息;第三层是知识层,在信息基础上进行提炼,形成有价值的知识。“更高的洞察力和决策力”是大数据应用的核心目标,但仅有知识,是达不成这一目标的。相同的数据可以产生相同的知识,但相同的知识被不同的人认知和使用,可以形成不同的智慧。在目前大数据的发展阶段,人仍旧是形成智慧的决定性因素。

3.智慧和战略层面

   在数据的产生和扩散历程中,人类已经多次经历过类似于数据大爆发的历程。第一次是人类语言出现。语言的出现使数据具有了载体,并逐步形成了处理数据的逻辑框架。以语言对自然和人类社会的记录开始得以记忆和流传;第二次是文字的出现。文字克服了语言在时间和空间上的局限性,对自然和人类社会现象的记录由此可以长时间留存和长距离转移;第三次是印刷术的发明。印刷术大幅降低了人类知识的存储成本和空间传播和交流成本;第四次则是信息化。信息化在更大程度上消减了数据保存和扩散的成本,替代了知识的面对面交流和互动。鉴于信息技术消减知识传播成本的巨大潜力,很多学者认为,世界将最终“变平”,距离不再是数据、信息及知识交流的障碍。以上四次数据的大爆发,都带来了人类社会的巨大变革,究其根本原因,在于知识的存储与传播最终改变了人类的智慧。 

 

 “大数据”时代的到来,充满了机遇与挑战,谁能够最快地习惯这种新形式下的数据模式,熟悉和掌握处理这种数据处理方法,谁就会在之后的信息战中占得先机,取得主动权。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
|
存储 分布式计算 数据挖掘
什么是大数据?2022大数据时代
什么是大数据?2022大数据时代
154 0
什么是大数据?2022大数据时代
|
大数据
大数据是什么?大数据时代四个特点
大数据是什么?其实很简单,大数据其实就是海量资料巨量资料,这些巨量资料来源于世界各地随时产生的数据,在大数据时代,任何微小的数据都可能产生不可思议的价值。大数据有4个特点,为别为:Volume(大量)、Variety(多样)、Velocity(高速)、Value(价值),一般我们称之为4V。
2036 0
|
分布式计算 关系型数据库 大数据
|
安全 大数据 Android开发
|
存储 物联网 大数据
|
编解码 大数据 定位技术