开发大数据的正确姿势--交互式分析

本文涉及的产品
云原生数据库 PolarDB MySQL 版,Serverless 5000PCU 100GB
简介: 在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文为您深度揭秘交互式分析的核心技术以及应用场景,用交互式分析打开开发大数据的正确姿势!

在大数据技术领域里,用户通常希望获得高可靠、低延时的数据服务,来满足简单或者复杂的查询场景。本文整理自2019年云栖大会大数据技术专场交互式分析团队的精彩演讲,为您深度揭秘交互式分析的核心技术以及应用场景,打开开发大数据的正确姿势!

本文内容整理自云栖大会演讲视频以及PPT。

更多详情请点击:云栖大会交互式分析现场分享

交互式分析是阿里云的一款实时数仓产品,实时数仓最常用的两种查询为简单查询和复杂查询,简单查询例如典型的双11媒体大屏,复杂查询例如AB实时test。针对两种实时数仓的查询场景,典型的业务架构为:用户产生的数据进入消息队列(例如阿里云的DataHub),然后经过实时处理(例如Flink)初步聚合,存储到存储服务里,之后进行数据服务,但由此会产生两个核心的问题:
1.数据选用什么存储服务?
2.如何对外提供高可靠、低延时的数据服务?

针对数据存储,目前市面上常用的产品可能是:
1.基于行存适用于高并发简单查询的Hbase、Cassandra;
2.基于列存适用于复杂大扫描查询的Druid、Kudu。
而开发人员往往会根据业务特性来选择适合自己的存储,当业务足够复杂的时候,可能一个业务需要多套存储系统,为开发、运维带来难度。除此之外,根据业务不同的需求,在数据查询方面也会有不同的需求,比如有时需要简单查询,有时需要复杂关联查询,这时又需要使用不同的计算引擎来提供数据服务,这无疑又给开发、运维带来一定难度。

交互式分析的诞生就是为了解决以上问题,为用户提供一站式高并发、低延时的存储和计算一体化的数据服务,并与大数据生态无缝打通,让你使用现有BI工具就能实现PB级数据的秒级查询分析。

交互式分析--秒级实时数仓

  • 大规模计算型存储
    采用存储、计算分离的架构,支持简单查询与复杂SQL查询。
  • 高性能查询服务
    使用交互式分析实现PB级数据秒级查询响应。
  • 兼容PostgreSQL生态
    意味着只要会使用PostgreSQL就能使用交互式分析,大大降低学习成本。同时,也意味着所有对接PostgreSQL的工具也能对接交互式分析,例如PostgreSQL自有的客户端(psql)、BI分析工具(Tableau、Quick BI)等。

典型应用场景

交互式分析经过在集团内的多年沉淀,已形成自有的典型应用场景,并且广泛用于互联网、新零售、IOT、金融等各个业务。
image

系统架构

  • 底层存储在盘古系统中,存储计算分离,并与MaxCompute在底层无缝打通,可直接对MaxCompute数据加速查询。
  • 兼容PostgreSQL,提供JDBC、ODBC接口可直接对接各种开发工具、BI分析工具。
    image

关于交互式分析的更多详细信息,可前往交互式分析官网查看。
同时也欢迎大家进入交互式分析的钉钉交流群,技术专家实时在线为您解决问题。
image

相关实践学习
简单用户画像分析
本场景主要介绍基于海量日志数据进行简单用户画像分析为背景,如何通过使用DataWorks完成数据采集 、加工数据、配置数据质量监控和数据可视化展现等任务。
SaaS 模式云数据仓库必修课
本课程由阿里云开发者社区和阿里云大数据团队共同出品,是SaaS模式云原生数据仓库领导者MaxCompute核心课程。本课程由阿里云资深产品和技术专家们从概念到方法,从场景到实践,体系化的将阿里巴巴飞天大数据平台10多年的经过验证的方法与实践深入浅出的讲给开发者们。帮助大数据开发者快速了解并掌握SaaS模式的云原生的数据仓库,助力开发者学习了解先进的技术栈,并能在实际业务中敏捷的进行大数据分析,赋能企业业务。 通过本课程可以了解SaaS模式云原生数据仓库领导者MaxCompute核心功能及典型适用场景,可应用MaxCompute实现数仓搭建,快速进行大数据分析。适合大数据工程师、大数据分析师 大量数据需要处理、存储和管理,需要搭建数据仓库?学它! 没有足够人员和经验来运维大数据平台,不想自建IDC买机器,需要免运维的大数据平台?会SQL就等于会大数据?学它! 想知道大数据用得对不对,想用更少的钱得到持续演进的数仓能力?获得极致弹性的计算资源和更好的性能,以及持续保护数据安全的生产环境?学它! 想要获得灵活的分析能力,快速洞察数据规律特征?想要兼得数据湖的灵活性与数据仓库的成长性?学它! 出品人:阿里云大数据产品及研发团队专家 产品 MaxCompute 官网 https://www.aliyun.com/product/odps 
相关文章
|
14天前
|
存储 消息中间件 监控
【Flume】Flume在大数据分析领域的应用
【4月更文挑战第4天】【Flume】Flume在大数据分析领域的应用
|
26天前
|
Cloud Native 数据处理 云计算
探索云原生技术在大数据分析中的应用
随着云计算技术的不断发展,云原生架构作为一种全新的软件开发和部署模式,正逐渐引起企业的广泛关注。本文将探讨云原生技术在大数据分析领域的应用,介绍其优势与挑战,并探讨如何利用云原生技术提升大数据分析的效率和可靠性。
|
1月前
|
存储 消息中间件 大数据
Go语言在大数据处理中的实际应用与案例分析
【2月更文挑战第22天】本文深入探讨了Go语言在大数据处理中的实际应用,通过案例分析展示了Go语言在处理大数据时的优势和实践效果。文章首先介绍了大数据处理的挑战与需求,然后详细分析了Go语言在大数据处理中的适用性和核心技术,最后通过具体案例展示了Go语言在大数据处理中的实际应用。
|
1月前
|
数据采集 运维 数据挖掘
API电商接口大数据分析与数据挖掘 (商品详情店铺)
API接口、数据分析以及数据挖掘在商品详情和店铺相关的应用中,各自扮演着重要的角色。以下是关于它们各自的功能以及如何在商品详情和店铺分析中协同工作的简要说明。
|
3月前
|
关系型数据库 MySQL Serverless
高顿教育:大数据抽数分析业务引入polardb mysql serverless
高顿教育通过使用polardb serverless形态进行数据汇总,然后统一进行数据同步到数仓,业务有明显高低峰期,灵活的弹性伸缩能力,大大降低了客户使用成本。
|
3月前
|
机器学习/深度学习 数据采集 算法
大数据分析技术与方法探究
在当今信息化时代,数据量的增长速度远快于人类的处理能力。因此,如何高效地利用大数据,成为了企业和机构关注的焦点。本文将从大数据分析的技术和方法两个方面进行探究,为各行业提供更好的数据应用方向。
|
3月前
|
机器学习/深度学习 人工智能 自然语言处理
大数据分析的技术和方法:从深度学习到机器学习
大数据时代的到来,让数据分析成为了企业和组织中不可或缺的一环。如何高效地处理庞大的数据集并且从中发现潜在的价值是每个数据分析师都需要掌握的技能。本文将介绍大数据分析的技术和方法,包括深度学习、机器学习、数据挖掘等方面的应用,以及如何通过这些技术和方法来解决实际问题。
47 2
|
3月前
|
机器学习/深度学习 人工智能 运维
大数据分析:探索信息世界的钥匙
在当今信息爆炸的时代,大数据分析成为挖掘宝藏般的技术和方法。本文将介绍大数据分析的基本概念、技术与方法,并探讨其在商业、科学和社会领域中的广泛应用。从数据收集和预处理到模型构建和结果解读,大数据分析为我们揭示了信息世界的钥匙,为决策者提供了有力的支持。
|
2月前
|
API
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
GEE案例分析——利用sentinel-3数据计算空气污染指数(Air Pollution Index,简称API)
104 0
|
2月前
|
分布式计算 Cloud Native MaxCompute
MaxCompute数据问题之没有访问权限如何解决
MaxCompute数据包含存储在MaxCompute服务中的表、分区以及其他数据结构;本合集将提供MaxCompute数据的管理和优化指南,以及数据操作中的常见问题和解决策略。
38 0