Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
应用范围 需要使用 Spark on Kubernetes解决方案的用户 对 Spark大数据分析平台计算资源成本控制考虑的用户 需要有灵活可扩展计算平台资源弹性及管控的用户 名词解释 文件存储 HDFS：阿里云文件存储 HDFS是面向阿里云 ECS实例及容器服务等计 算资源的文件存储服务，允许用户像在 Hadoop分布式文件系统中管理和访问数 据，...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 业务架构 场景描述 客户在 IDC或者公有云环境自建 Hadoop集群 构建数据仓库和分析系统，购买阿里云 Databricks数据洞察集群之后，涉及到数仓数 据和元数据的迁移以及 Hive版本的订正更新。方案优势 1.全托管 Spark集群免运维，节省人力成 本。2.Databricks数据洞察...
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
更多应用场景请查看.AnalyticDB MySQL使用文档.快速上手AnalyticDB MySQL.查看API使用文档.AnalyticDB MySQL技术交流.流量成本的升高，用户更加成熟，迫使客户需进行更加精细化的市场营销，提供更高品质的产品...——打造一站式实时湖仓，可替换CDH/TDH/开源自建/云服务-Spark/Hive/Presto等.AnalyticDB MySQL湖仓版重磅发布.
来自：
云产品
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
简化统一开发体验基于 SelectDB 的湖仓互通、轻量级 ELT 能力，无缝完成数据源到数仓的数据同步、清洗过程，无需依赖 Spark 和 Flink。使用 SelectDB 作为统一查询网关，无需进行多系统切换及 SQL 方言兼容处理。极速数据分析基于 SelectDB 领先的查询分析引擎，结合数据缓存、统计信息收集等，SelectDB 分析性能可达 ...
来自：
云产品
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
集成对数据湖（OSS或Hadoop HDFS）的访问分析，支持外表映射、Spark直接访问方式开展数据湖分析；在一套数仓服务和用户接口下，实现湖与仓的关联分析.支持流式采集和近实时分析.支持流式数据实时写入并在数据仓库中开展分析；与云上主要流式服务深度集成，轻松接入各种来源流式数据；高性能秒级弹性并发查询，满足近实时...
来自：
云产品
表格存储Tablestore
表格存储Tablestore是阿里云自研的面向海量结构化数据存储的Serverless分布式数据库，它可提供低成本、高性能的存储方案，同时也可提供稳定与极致的数据服务。
与Maxcompute、Spark、Flink等计算引擎集成，与Kafka、数据集成等链路组件无缝打通.易集成生态丰富.查看各个计费项各个区域定价.了解产品付费模式与计费规则.了解表格存储计费案例.了解表格存储常见计费问题.提供Serverless服务体验，零运维，低成本.单表10PB级数据量、万亿条记录数以及千万级别的TPS能力。自动负载均衡及...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
与Flink、Spark等计算框架原生集成，通过内置Connector，支持高通量数据实时写入与更新，支持源表、结果表、维度表多种场景，支持多流合并等复杂操作.所见即所得的开发.数据实时写入即可查询，支持DB、Schema、Table三级体系，支持视图View，原生支持Update/Delete，支持关联、嵌套、窗口等丰富表达能力，支持半结构JSON...
来自：
云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
云消息队列 Kafka 版支持连接自建 Filebeat 日志采集，经由 Kafka 流转到后方 ES 服务.Hbase、Spark 数据处理.云消息队列 Kafka 版数据导入 Hbase 等存储，实现低成本存储和计算分析.Flink 实时数仓.云消息队列 Kafka 版支持数据流转到 Flink，实现ETL处理、实时数据分析等业务.云消息队列 Kafka 版兼容标准规范，支持海量...
来自：
云产品
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 55 SLS多云日志采集、处理及分析 Spark数据处理 Log producer写入日志服务 9.Spark数据处理 Log producer写入日志服务 9.1.Git 作业源码 说明：本节直接使用已经编译好的作业，作业代码使用 spark消费 kafka数据，经过 数据处理使用 log producer写入日志服务。（开发者可以直接阅读源码或参考附录编 译...
E-MapReduce Serverless Spark 版
E-MapReduce Serverless Spark 是阿里云 E-MapReduce 基于 Spark 提供的一款全托管、一站式的数据计算平台。它为用户提供任务开发、调试、发布、调度和运维等全方位的产品化服务，显著简化了大数据计算的工作流程，使用户能更专注于数据分析和价值提炼。
得益于其开放的产品架构，EMR Serverless Spark 使得在数据湖中对结构化和非结构化数据进行分析与处理变得简单高效。此外，其还内置了任务调度系统，允许用户轻松构建和管理数据 ETL 任务，实现数据管道的自动化和周期性数据处理。EMR Serverless Spark 还内嵌了先进的版本管理系统，并提供了开发与生产环境的完全隔离，...
来自：
云产品
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
互联网直接访问，开箱即用，按需付费，不需要长期持有分析成本，升级期间对业务影响小，产品迭代敏捷快速.Presto引擎.Presto引擎是数据湖分析基于Presto打造的交互式分析引擎，接入MySQL协议，可使用任何兼容MySQL协议的工具来进行数据分析，适合Adhoc查询、BI分析、轻量级ETL等数据分析场景.Spark引擎.Spark引擎是基于开源...
来自：
云产品
Databricks数据洞察
阿里云Databricks数据洞察是基于Apache Spark的全托管数据分析平台, 内核采用更高效、稳定的商业版Databricks Runtime和Delta Lake。可满足数据分析师、数据工程师和数据科学家在大数据场景下对数据湖分析、实时数仓、离线数仓、BI数据分析、AI机器学习等需求
满足高性能、高稳定性、可弹性的计算需求.Databricks Delta Lake为数据湖分析提供了ACID事务能力，轻松处理包含数十亿文件的PB级表的元数据信息，实现了批流一体的数据处理方式.同时满足数据科学家、数据工程师以及业务分析师的计算需求，提供交互式的协同分析工作平台.计算存储分离，减少数据冗余，实现多引擎间的数据共享...
来自：
云产品
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
基于弹性供应组构建大数据分析集群最佳实践 业务架构 场景描述 基于弹性供应组（APG）搭建 spark计算集 群，提供一键开启跨售卖方式、跨可用区、跨实例规格的计算集群交付模式的实践。方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用 spot实例 交付，最高可省 90%成本。2.稳定可靠：跨可用域、跨实例...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
可用区M 支持导入已保 有资源 IPv4网段 192.168.0.0/24 安全组：系统默认配置，自动创建 基于模版新建 名称：project-emr 可选服务：如果更换地域 付费类型：按量付费 OSS-HDFS、Hadoop-Common、或者可用区，业务场景：新版数据湖 Hive、Spark3、Tez、YARM 注意规格 元数据：DLF统一元数据 EMR 集群存储根路径：勾选：挂载...
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
本书由阿里云及网易数帆、美创科技、CUUG、恒辉信达等开源生态合作伙伴共同出品，从安装部署到运维实践、开发工具，八大章节轻松入门 PolarDB for PostgreSQL 开源数据库.PolarDB for PostgreSQL 从入门到实战.由阿里巴巴多位技术专家精心打磨内容，通过详细的图文介绍，深度剖析实时数仓面临挑战与发展趋势，详细介绍...
来自：
云产品
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
通过Nginx和Pythonflask搭建WebServer，模拟应用中的关 键页面，比如登录、课程内容等，之后构造若干用户使用的模拟日志数据，投递到数 据湖进行分析后获取应用PV、UV、课程内容访问排行、平均得分等等。方案优势 支持超过10亿条元数据规模的数据管理，同时支持高可靠和高可用。 支持元数据实时备份和重建集群快速恢复...
- 产品推荐
- 这些文档可能帮助您