大数据学习:带你从多个维度来分析大数据发展趋势

本文涉及的产品
云原生大数据计算服务 MaxCompute,5000CU*H 100GB 3个月
云原生大数据计算服务MaxCompute,500CU*H 100GB 3个月
简介: 如今“大数据”已不再是单纯描述数据特征的词汇,而是一个多学科交融的热点研究领域,其背后有着复杂和深刻的新理念。

如今“大数据”已不再是单纯描述数据特征的词汇,而是一个多学科交融的热点研究领域,其背后有着复杂和深刻的新理念。

今天我们带大家从“技术、工程、科学和应用”这四个维度分析大数据的研究现状与挑战,探讨未来研究的侧重点和发展趋势,如图3所示。

screenshot

1、纵向维度。

“大数据技术”是大数据实践活动中应用的技术方案和工具等,基于信息流程视角,其相关技术涵盖数据采集、存储、传输、清洗、检索、处理和展示等多方面。虽然云计算、NoSQL、Hadoop等技术在大数据存储和处理的应用开启了新的纪元,但这些技术在算法优化、分析统计、语义处理、知识可视化呈现等方面还存在很多不足,这些问题在未来的研究中仍会成为关注的焦点。

2、横向维度。

“大数据应用”指大数据在实践中的具体应用,目前相关应用已在政治、经济、社会管理、军事活动和科学研究等领域开启了新的探索。目前数据源质量、个人隐私、数据公正公平等问题让人堪忧,微软首席研究员DanahBoyd教授对大数据提出了“冷思考”,号召大家客观理性对待大数据。未来大数据应用的涉及面将会更广泛,也更注重解决实际问题,如移动互联网平台的深层次开发和利用、数据平等获取使用、涉密与公开权衡、社交媒体言论实时监管、新媒体资源的整合、网络舆情实时引导和应对、国家安全防卫、政治选举、自然灾害预警、交通管理以及社会公共卫生安全等。

3、宏观维度。

“大数据工程”指大数据的规划建设运营管理的系统工程,研究领域涉及宏观层面的系统规划和投入,微观层面的具体实施和建设等。具体而言,国家层面:法律法规、通用标准、政策制定、基础平台建设、产业链集成等会进一步完善;顶层设计层面:系统化地规划大数据工程、制定标准、创新管理模式、优化人才培养、合理布局学科建设等问题会成为未来研究的重点。

4、微观维度。

“大数据科学”研究大数据网络发展和运营过程中发现和验证大数据规律,以及它与自然和社会活动间的关系,主要在理论层面探索规律,进而指导实践。系统科学地搭建和完善大数据科学相关理论、方法、流程、模型,并探寻指导实践应用是未来的难点,但也是极为重要的关键点。大数据已经开始掀起一股新的信息浪潮,对大数据的研究和探索也将继续广泛而深入。通过前文的总结和分析,笔者发现目前的研究热点主要集中在对大数据理念的探讨、生物信息学的应用、云计算和Hadoop等相关技术的实践、及可视化分析和展示的研究。
screenshot

整体而言,现阶段的注意力主要停留在大数据技术和大数据应用层面,商业应用是主要的推动力量,业界和学界普遍关注新的技术手段来解决实践应用中的大数据问题。而大数据工程和大数据科学两个维度的研究目前较为稀少,相关成果只涉及数据开放和利用政策、学科教育、人才培养等部分内容,相信未来会得到进一步重视。

相关实践学习
基于MaxCompute的热门话题分析
本实验围绕社交用户发布的文章做了详尽的分析,通过分析能得到用户群体年龄分布,性别分布,地理位置分布,以及热门话题的热度。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
目录
打赏
0
0
0
0
13
分享
相关文章
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
川航选择引入 SelectDB 建设湖仓一体大数据分析引擎,取得了数据导入效率提升 3-6 倍,查询分析性能提升 10-18 倍、实时性提升至 5 秒内等收益。
从湖仓分离到湖仓一体,四川航空基于 SelectDB 的多源数据联邦分析实践
数据的秘密:如何用大数据分析挖掘商业价值
数据的秘密:如何用大数据分析挖掘商业价值
68 9
从数据小白到大数据达人:一步步成为数据分析专家
从数据小白到大数据达人:一步步成为数据分析专家
258 92
大数据 优化数据读取
【11月更文挑战第4天】
139 2
数据的“潘多拉魔盒”:大数据伦理的深度思考
数据的“潘多拉魔盒”:大数据伦理的深度思考
56 25
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
湖仓一体架构融合了数据湖的低成本、高扩展性,以及数据仓库的高性能、强数据治理能力,高效应对大数据时代的挑战。为助力企业实现湖仓一体的建设,Apache Doris 提出了数据无界和湖仓无界核心理念,并结合自身特性,助力企业加速从 0 到 1 构建湖仓体系,降低转型过程中的风险和成本。本文将对湖仓一体演进及 Apache Doris 湖仓一体方案进行介绍。
数据无界、湖仓无界, Apache Doris 湖仓一体解决方案全面解读(上篇)
AI助理

你好,我是AI助理

可以解答问题、推荐解决方案等