《大数据原理:复杂信息的准备、共享和分析》一一0.4 大数据最常见的目的是产生小数据

简介: 本节书摘来自华章出版社《大数据原理:复杂信息的准备、共享和分析》一 书中的第0章,第0.4节,作者:[美] 朱尔斯 J. 伯曼(Jules J. Berman)著 ,更多章节内容可以访问云栖社区“华章计算机”公众号查看。

0.4 大数据最常见的目的是产生小数据
如果我知道获得一切后是什么样子,我也许早前就愿意接收更少的东西。
―Lily Tomlin

假设你正在使用智能手机搜索意大利餐厅,只需几步,你的手机就会列出在你当前位置10个街道范围之内的意大利餐厅。在此过程中,被查询的数据库庞大且复杂:一个映射数据库收集了世界上的所有餐厅,餐厅的经纬度、地址和由顾客给出的评分会持续更新,但是数据库的输出是小数据,例如,在街景地图上标出来5个餐厅,以及这些餐厅的准确地址、电话号码和评分。你要做的只是从这5家餐厅中选择一家,并享受佳肴。
在此案例中,你的数据选择源自一个大型的数据集,但你最终的分析仅利用了一个小数据集(即满足搜索条件的5家餐厅)。大数据资源是为了提供小数据集。分析工作并非基于大数据资源―大数据资源仅仅用于搜索和检索,因此,大数据资源的真正工作是收集和组织复杂数据,以便资源能够为你的检索做好准备。在此过程中,数据创造者需要做很多决定,例如,酒吧是否应该列入餐厅范围之内?外卖是如何点餐的?应当收集什么数据?缺失数据应当如何处理?数据如何存储?
大数据很少全部用于分析,总有一个“剧烈”的过滤过程将大数据转换为小数据,这种方式适用于科学分析。澳大利亚平方公里阵射电望远镜7、全球望远镜、欧洲核子研究中心的大型强子对撞机和泛星计划望远镜每天产生PB级的数据(见术语表,Square Kilometer Array,Large Hadron Collider,Worldwide Telescope)。研究者从这些原始数据资源中提取出众多用于分析的小数据集8。
这里给出一个实例来展现如何从大数据资源中产生可用的数据子集。耀变体是罕见的超大质量黑洞,它会释放喷流能量,并出现超光速运动现象。宇宙论者希望尽可能多地了解这些奇怪的物体。学习耀变体的第一步是找到足够多的耀变体,之后,对所有收集到的耀变体进行多种形式的测量,并进行比较来确定它们的总体特征。耀变体有一个其他天体没有的伽马射线特征径迹。广角红外线探测望远镜(WISE)收集了整个可观测宇宙的红外数据。研究人员从WISE的数据中提取出了所有有可能是耀变体的天体―约有300个。此后对这300个物体的研究让研究人员相信大致有一半是耀变体9。上述是大数据如何起作用的一个典型案例―通过创建小数据集可以有效地进行分析。

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
20天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
1月前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
10天前
|
数据采集 搜索推荐 大数据
大数据中的人为数据
【4月更文挑战第11天】人为数据,源于人类活动,如在线行为和社交互动,是大数据的关键部分,用于理解人类行为、预测趋势和策略制定。数据具多样性、实时性和动态性,广泛应用于市场营销和社交媒体分析。然而,数据真实性、用户隐私和处理复杂性构成挑战。解决策略包括数据质量控制、采用先进技术、强化数据安全和培养专业人才,以充分发挥其潜力。
14 3
|
13天前
|
运维 供应链 大数据
数据之势丨从“看数”到“用数”,百年制造企业用大数据实现“降本增效”
目前,松下中国旗下的64家法人公司已经有21家加入了新的IT架构中,为松下集团在中国及东北亚地区节约了超过30%的总成本,减少了近50%的交付时间,同时,大幅降低了系统的故障率。
|
14天前
|
机器学习/深度学习 人工智能 安全
Azure Databricks实战:在云上轻松进行大数据分析与AI开发
【4月更文挑战第8天】Databricks在大数据分析和AI开发中表现出色,简化流程并提高效率。文中列举了三个应用场景:数据湖分析、实时流处理和AI机器学习,并阐述了Databricks的一体化平台、云原生弹性及企业级安全优势。博主认为,Databricks提升了研发效能,无缝集成Azure生态,并具有持续创新潜力,是应对大数据挑战和加速AI创新的理想工具。
39 0
|
27天前
|
机器学习/深度学习 人工智能 数据可视化
基于Python的数据可视化技术在大数据分析中的应用
传统的大数据分析往往注重数据处理和计算,然而数据可视化作为一种重要的技术手段,在大数据分析中扮演着至关重要的角色。本文将介绍如何利用Python语言中丰富的数据可视化工具,结合大数据分析,实现更直观、高效的数据展示与分析。
|
1月前
|
存储 NoSQL 大数据
新型数据库技术在大数据分析中的应用与优势探究
随着大数据时代的到来,传统数据库技术已经无法满足海量数据处理的需求。本文将探讨新型数据库技术在大数据分析中的应用情况及其所带来的优势,为读者解析数据库领域的最新发展趋势。
|
1月前
|
分布式计算 DataWorks 关系型数据库
DataWorks报错问题之dataworks同步rds数据到maxcompute时报错如何解决
DataWorks是阿里云提供的一站式大数据开发与管理平台,支持数据集成、数据开发、数据治理等功能;在本汇总中,我们梳理了DataWorks产品在使用过程中经常遇到的问题及解答,以助用户在数据处理和分析工作中提高效率,降低难度。

热门文章

最新文章