国内互联网大数据的发展现状和应用

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介:

摘要:随着互联网用户激增,手机已经实现了数据化、宽带化。在浏览网站上、使用设备上、通信服务系统里,数据都以指数级的速度增长。而具有资源优势的运营商正好位于大流量、大数据信息“金矿”上。目前大数据应用相对其他产业比较成形的就是互联网企业,这些握有大量数据资产的互联网企业正急于如何将大数据信息化转化为商业价值。

一.国内互联网的大数据产业政策及现状

(1)国内互联网的大数据产业政策

目前我国互联网的大数据产业兴起不久,对其相关政策、规定、监管办法等还没有完善。但是近年政府部门在相关领域的指导政策对互联网大数据产业进行了肯定和支持。《国务院关于促进信息消费扩大内需的若干意见》出台,国家层面上已经意识到互联网基础设施会对信息消费的产业产生非常大影响。国家将推动“信息消费”作为一种经济发展战略,除了直接拉动消费、扩大内需之外,有助于推进第三产业,特别是信息服务业的转型升级,并有望成为推动中国经济持续增长的新着力点。

信息消费将在相当长时间内成为中国拉动有效需求、稳定经济增长的强力引擎,是继住房、汽车之后的消费热点与亮点。从而给互联网大数据产业的成长打下了政策基础。

其中《关于大力发展电子商务加快培育经济新动力的意见》和2014年信贷政策工作意见,都表明了政府对互联网创新型企业融资的支持和推动互联网大数据产业发展的意向。

(2)互联网大数据产业发展现状

随着互联网用户激增,手机已经实现了数据化、宽带化。在浏览网站上、使用设备上、通信服务系统里,数据都以指数级的速度增长。而具有资源优势的运营商正好位于大流量、大数据信息“金矿”上。目前大数据应用相对其他产业比较成形的就是互联网企业,这些握有大量数据资产的互联网企业正急于如何将大数据信息化转化为商业价值。

目前互联网大数据应用主要已经开始改变传统运营方式和盈利模式,并取得一定成功。主要集中体现在两大方面:

①提升用户体验,进行精细化运营,提高网络营销效率。互联网企业以及运营商拥有下面类数据:一是用户账号里基础数据。二是协议类型如套餐服务得到的用户消费能力。三是业务类型数据,如用户选择的游戏、阅读、音乐类,代表个人兴趣、爱好的数据。四是访问的URL。用户经常看的网站、搜索关键词等。五是终端信息,每个终端能力、特征不同,最终使用的业务也会不同。

基于以上数据,通过大数据分析手段,找到最合适和满足用户需求的产品特点,从而指导产品设计开发,业务上线后持续跟踪分析用户的在线订购、使用问题等,为优化业务策略提供数据支持,提高业务质量和客户体验。最终达到精细化网络营销,提高客户满意度和销售效率。像谷歌、阿里、百度这种互联网巨头企业在这方面已经比较成熟,并且其收入很大比例也是来源于此。

②在互联网大数据助推下进行的商业模式创新及业务的延伸。大数据不仅帮助企业优化运营绩效,更重要的是,互联网大数据给企业带来了业务创新的机遇和能力。例如未来全球电子商务一定是社会化的,因为没有任何一家公司有能力建立一家快递公司运货到全世界各地,也没有任何一家公司能够采购到全世界的商品卖给全世界的消费者。而阿里巴巴通过打造商业的基础设施,吸引卖家、快递等各方公司参与,通过这种商业创新模式将各行业企业连接到生态圈里,进而打造全球电子商务的一体化。

此外互联网大数据应用日益得到人们的认可,越来越多的行业开始关注、开发应用互联网大数据。医疗保健、零售商、制造业等传统行业已开始积极挖掘互联网数据带来的商业价值。

(3)应用现状

自从上世纪70年代驶入信息高速公路,互联网始终在不断发展中前进。今天的人们从联系平台到浏览平台,到交互平台,到工作平台,逐步进入大数据时代。互联网行业积累的数据,对于企业和个人都有很大价值。总结互联网大数据,可以根据数据来源分为14类数据:电商数据,支付数据,交友数据,社区数据,新闻资讯数据,视频数据,浏览器数据,搜索数据,游戏数据,音乐数据,旅游数据,地图数据,餐饮数据,ID数据。其中以百度为首的搜索引擎企业的优势在于搜索数据、浏览器数据;以阿里为首的电商企业的优势在于电商数据和支付数据;以腾讯为首的社交类企业的优势在于交友、游戏等数据。对不同类型的数据进行挖掘,对于企业和个人甚至政府都具有较高的价值。

二.互联网大数据市场规模及需求分析

(1)国内大数据市场规模

根据国务院印发的《国务院关于促进信息消费扩大内需的若干意见》规划,到2015年,中国信息消费规模超过3.2万亿元,年均增长20%以上,带动相关行业新增产出超过1.2万亿元,其中基于互联网的新型信息消费规模达到2.4万亿元,年均增长30%以上。

按此推算,信息消费的增量部分规模将占到GDP增量部分规模的12%左右,每年为GDP增长贡献大约1个百分点,并且可以带动全国相关产业的发展,这将极大地促进中国经济持续、平稳地发展。基于电子商务、云计算等信息平台的消费快速增长,自2014年中国互联网用户数据市场进入快速发展。预计2020年国内互联网大数据市场规模总量将突破320亿人民币。

  2014-2020年中国互联网大数据应用市场规模

(2)国内大数据需求分析

传统产业人士通常认为大数据是大型互联网公司的“专利”。当阿里通过互联网平台将大数据应用连接到传统企业,并带来巨大的商业价值后,通信行业、金融行业、服务零售业以及传统的装备制造业等,都纷纷开始进军大数据。

根据调查显示,32.5%的公司正在搭建大数据平台,处于测试阶段;约29.5%的公司已经在生产环节实践大数据,并有成功的产品。总体看目前正在开发和已经使用的大数据应用平台占比超过6成,而准备开发的占24.52%,并且这个比例还会日渐上升,说明企业对大数据的需求明显加大。

  企业大数据平台使用情况

目前互联网大数据平台应用场景主要集中在社交网络、B2C业务、精准营销、在线音视频业务、广告监测五大方面。最终目的都是将互联网数据资源转化为商业资产进行变现。因此很多企业积极组建大数据研发团队。据调查显示,对大数据有需求的公司中,超三成的研发团队仅有1-10人,次居第二的10-50人的规模占到了25.65%,两种规模的研发团队就超过5成。可见,当下对大数据的需求已经不止大型公司,大数据的市场需求正不断增长。

  企业大数据研发团队规模

三.国内大数据竞争格局

从目前互联网数据资源和市场影响力情况看,国内大数据竞争格局主要成3个梯队:

第一梯队:企业规模及用户覆盖全国的大型互联网公司。这些互联网公司在数据库体量、数据处理深度及速度、平台效应、研发实力及营销精准度带方面上都是国内相较成熟的。这些公司市值达到千亿。目前国内企业中的百度、阿里、腾讯互联网巨头云平台覆盖率占较高比例,也是中国互联网大数据行业的领军者。

第二梯队:专业领域企业大数据公司,这些企业在数据量、平台效应等虽然没有BAT那样强大,但在某些细分领域中有一定突破优势。如人民网、拓尔思等的舆情监测分析,美亚柏科网路信息安全的大数据应用,天泽信息的车联网IT服务上都有自己的特色。

第三梯队:初创型互联网大数据公司。国内除去百度、阿里等巨头公司自身有实力研发使用大数据,其他大部分公司数据需要第三方公司提供服务。初创型大数据公司针对某一垂直领域,选取不同受众进行数据处理分析,从而为目标客户搭建数据大平台。这类公司目前处于初创期但发展潜力值得期待,如永洪科技、聚道科技、智拓通达等。

四.国内大数据主要公司的核心竞争力

当前互联网大数据的积累和应用以百度、腾讯和阿里巴巴较为成熟。BAT在大数据的应用上虽然有共同的地方,但由于各自的数据来源和商业模式的不同,其大数据应用也有不同的特色。

百度、阿里巴巴和腾讯三大互联网企业都拥有大数据,三大互联网巨头的数据都用来优化自己业务的运营效果,从这个层面看,其数据价值应用场景比较类似。但由于其业务和商业模式的不同决定了三者数据资产的不同,也决定了三者未来大数据策略的不同,尤其是基于大数据的开放和合作角度看,百度和阿里巴巴相对更加开放。对于重视大数据开放和合作的互联网企业,他们最为期待的是借着大数据开放的策略,与更多的传统行业交换更多的数据,从而更好的丰富线下数据,形成线上和线下数据的协同,从中拓展新的商业模式,如智能硬件和健康大数据等。

(1)百度

①百度大数据来源

最重要的是来源是通过爬虫搜集的100多个国家的近万亿网页数据,数据量是在EB级的规模。其中包括网页数据、视频和图片等数据,也有结构化的数据,如用户的点击行为数据,广告客户的付费行为数据等。

②百度大数据服务三类人群

第一类是互联网网民,通过大数据和自然语言处理技术让网民的搜索更加准确;第二类是广告主,通过大数据让广告主的广告和搜索关键词的匹配度更高,或者和网民正在浏览的网页内容匹配度更高;第三类也是在重点推进的是百度大数据引擎,重点服务传统行业拥有较大数据体量的企业。

③百度大数据引擎构成

百度大数据引擎代表了互联网企业数据服务能力开放和合作的趋势,百度大数据引擎由以下三方面构成:开放云、数据工厂、百度大脑。

百度大数据引擎的作用具体体现在两方面:

·对于政府机构:利用百度大数据引擎的大数据能力,则可以政府相关部门规划和运营管理,如卫生部门拥有流感报告数据、全国流感样病例哨点监测和病原学监测数据,如果和百度的搜索记录及全网数据结合,便可进行流感预测、疫苗接种指导。

·对于企业:很多企业也拥有海量大数据,不过很多企业的大数据处理和挖掘能力比较弱,如果应用百度大数据引擎,则可以对海量数据进行可靠低成本的存储,进行智能化的由浅入深的价值挖掘。

  (2)阿里巴巴

阿里巴巴大数据整体发展方向是以激活生产力为目的的DT(datatechnology,数据技术驱动)数据时代发展。阿里巴巴大数据未来将由“基于云计算的数据开放+大数据工具化应用”组成:

·基于云计算的数据开放。云计算使中小企业可以在阿里云上获得数据存储、数据处理服务,也可以构建自己的数据应用。阿里分布式的存储平台和在这个平台上的算法工具,可以更好的为数据开发者所用;阿里的大数据开放之后,线上线下的数据能够串联起来,所有人都是数据提供方,也是数据的使用者。

·在大数据应用上,马云已经在整个数据应用上确定了两个方针:

第一个方针:从IT到DT(数据技术),DT就是点燃整个数据和激发整个数据的力量,

被管理所用,被社会所用,被销售所用,为制造业所用,为消费者信用所用。

第二个方针:让阿里巴巴的数据、让阿里巴巴的工具能够成为中国商业的基础设施。阿里巴巴已经开始在转型,阿里将由自己直接面对消费者变成支持电商面对消费者,阿里会根据其已有的运营和数据经验,开发更多的工具,帮助网商成长,让网商们更懂得用最好的工具去服务好消费者。

(3)腾讯

腾讯的大数据目前更多的是为腾讯企业内部运营服务,相对于阿里和百度,数据开放程度并不高。但腾讯大数据在服务企业内部的应用场景和服务上有自己的优势。

腾讯90%以上的数据已经实现集中化管理,数据集中在数据平台部,有超过100多个产品的数据已经集中管理起来,而且是集中存储在腾讯自研数据仓库(TDW)。腾讯大数据从数据应用的不同环节可以分为四个层面,包括数据分析、数据挖掘、数据管理和数据可视化。

·数据分析层面有四个产品:自助分析、用户画像、实时多维度分析和异动智能定位工具。

·数据挖掘层面的产品应用:精准广告系统、用户个性化推荐引擎和客户生命周期管理。

·在数据管理层面则有:TDW(腾讯数据仓库)、TDBank(数据银行)、元数据管理平台和任务调度系统和数据监控。

·在数据可视化层面有:自助报表工具、腾讯罗盘、腾讯分析和腾讯云分析等工具。





====================================分割线================================


本文转自d1net(转载)

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
相关文章
中国联通网络资源湖仓一体应用实践
本文分享了中国联通技术专家李晓昱在Flink Forward Asia 2024上的演讲,介绍如何借助Flink+Paimon湖仓一体架构解决传统数仓处理百亿级数据的瓶颈。内容涵盖网络资源中心概况、现有挑战、新架构设计及实施效果。新方案实现了数据一致性100%,同步延迟从3小时降至3分钟,存储成本降低50%,为通信行业提供了高效的数据管理范例。未来将深化流式数仓与智能运维融合,推动数字化升级。
中国联通网络资源湖仓一体应用实践
ODPS技术架构深度剖析与实战指南——从零开始掌握阿里巴巴大数据处理平台的核心要义与应用技巧
【10月更文挑战第9天】ODPS是阿里巴巴推出的大数据处理平台,支持海量数据的存储与计算,适用于数据仓库、数据挖掘等场景。其核心组件涵盖数据存储、计算引擎、任务调度、资源管理和用户界面,确保数据处理的稳定、安全与高效。通过创建项目、上传数据、编写SQL或MapReduce程序,用户可轻松完成复杂的数据处理任务。示例展示了如何使用ODPS SQL查询每个用户的最早登录时间。
510 1
云栖实录 | 大模型在大数据智能运维的应用实践
云栖实录 | 大模型在大数据智能运维的应用实践
280 3
智能化运维:AI与大数据在IT运维中的应用探索####
本文旨在探讨人工智能(AI)与大数据分析技术如何革新传统IT运维模式,提升运维效率与服务质量。通过具体案例分析,揭示AI算法在故障预测、异常检测及自动化修复等方面的实际应用成效,同时阐述大数据如何助力实现精准运维管理,降低运营成本,提升用户体验。文章还将简要讨论实施智能化运维面临的挑战与未来发展趋势,为IT管理者提供决策参考。 ####
大数据模型的应用
大数据模型在多个领域均有广泛应用。在金融领域,它可用于风险评估与预测、智能营销及反欺诈检测,助力金融机构做出更加精准的决策;在医疗领域,大数据模型能够协助疾病诊断与预测、优化医疗资源管理和加速药物研发;在交通领域,该技术有助于交通流量预测、智能交通管理和物流管理,从而提升整体交通效率;电商领域则借助大数据模型实现商品推荐、库存管理和价格优化,增强用户体验与企业效益;此外,在能源和制造业中,大数据模型的应用范围涵盖从需求预测到设备故障预测等多个方面,全面推动了行业的智能化转型与升级。
ly~
690 2
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
别急着上算法,咱先把数据整明白:大数据分析的5个基本步骤,你都搞对了吗?
23 4
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
数据驱动智能,智能优化数据——大数据与人工智能的双向赋能
59 4

热门文章

最新文章

AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等