MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等 场 景 下 的 大 数 据 解 决 方 案。更 多 信 息，请 参 见：https://www.aliyun.com/product/emapreduce 文档版本：20220402 III MaxCompute湖仓一体方案 目录 目录 文档版本信息.I 法律声明.II 产品介绍.III 目录.IV 最佳实践...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 55 SLS多云日志采集、处理及分析 Spark数据处理 Log producer写入日志服务 9.Spark数据处理 Log producer写入日志服务 9.1.Git 作业源码 说明：本节直接使用已经编译好的作业，作业代码使用 spark消费 kafka数据，经过 数据处理使用 log producer写入日志服务。（开发者可以直接阅读源码或参考附录编 译...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
相关产品云数据库 SelectDB 版本产品日志服务 SLS检索分析服务 Elasticsearch 版在线咨询湖仓一体分析传统的大数据平台解决方案通过组合多套数据湖查询引擎和数据仓库系统，来满足客户复杂多样的大数据分析需求，面临人力及资源成本高、数据开发使用复杂、数据分析实时性差等问题。基于 SelectDB 构建湖仓一体的分析系统，...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
本方案向客户提供ADB+DLA的数据仓库组合，完美解决大数据量分析和运营效率问题，实现海量数据实时写入和复杂ETL计算，用户画像、交互报表、实时数据服务等查询加速需求.ADB MySQL版完全兼容MySQL的语法和使用习惯，上手成本低.将重分析类SQL从RDS切换到ADB高性能库，亿级数据实时秒级拉取，可支持单表记录数百亿级.ADB支持...
来自：
云产品
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hive数据仓库跨版本迁移到阿里云 EMR 场景描述 解决的问题 客户在IDC或者公有云环境自建Hadoop集群构建 Hive数据仓库的数据迁移方案 数据仓库和分析系统，购买阿里云 EMR集群之后，Hive元数据库的迁移方案 涉及到将数据仓库和Hive元数据的数据库迁移上 Hive跨版本迁移后的数据订正 云。目前主流 Hive数据仓库迁移场景...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
本章我们将主要演示如何将 Azkaban中的定时 任务进行改造，并在 Dataworks创建对应的 ETL任务进行数据处理。6.1.将表 datahub_dataconnector_apache_logs 数 据 灌 入 odps_apache_logs 本实践方案中 Hive数据仓库中的原始表 apache_logs有一个分区字段 ds（日期值），每天生成一个分区。在使用 MMA工具迁移到 MaxCompute表...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
提供 用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机 器 学 习 等 场 景 下 的 大 数 据 解 决 方 案。详 情 请 查 看 www.aliyun.com/product/emapreduce Kerberos：Kerberos是一种网络身份验证协议，它旨在通过使用密钥加密为客户 端/服务器应用程序提供强身份验证。它提供了网络上的身份...
中小企业自建Hadoop集群上云解决方案
中小企业自建 Hadoop 集群上云解决方案，助力自建 Hadoop 用户快速构建云上半托管开源大数据平台，在保持原组件使用习惯延续的同时，充分利用云上服务特点，更加便捷地迭代企业大数据平台架构，聚焦业务价值开发。
本方案构建了安全的数据传输网络，基于 Apache Flink 官方产品Ververica，提供可选的实时计算平台半托管服务，在兼容开源 Flink 的基础上提供商业增值能力，可广泛用于实时 ETL、数据库 CDC、实时风控、实时入仓（湖）、实时机器学习等流式数据处理场景.多样化 OLAP 查询分析.多样化 OLAP 查询分析.OLAP 查询面向各类业务...
来自：
解决方案
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
湖仓一体架构 EMR元数据迁移 DLF最佳实践 业务架构 场景描述 解决的问题 通过 EMR+DLF数据湖方案，可以为企业提供数据 EMR元数据迁移至 DLF 湖内的统一的元数据管理，统一的权限管理，支持多 元数据迁移验证 源数据入湖以及一站式数据探索的能力。本方案支 数据一致性校验 持已有 EMR集群元数据库使用 RDS或内置 MySQL ...
云原生数据仓库AnalyticDB MySQL数据仓库
阿里云云原生数据仓库AnalyticDB MySQL版（简称AnalyticDB）是融合数据库、大数据技术于一体的云原生企业级数据仓库平台。云原生数据仓库AnalyticDB MySQL版支持数据实时写入和同步更新、实时计算和实时服务，可用于构建企业级报表系统、数据仓库和数据服务引擎。
流量成本的升高，用户更加成熟，迫使客户需进行更加精细化的市场营销，提供更高品质的...边锋&AnalyticDB MySQL：打造一站式大数据分析平台.AnalyticDB MySQL带你学：基于Flink的高吞吐&精确一致性数据入湖.兰姆达 x AnayticDB 降本30%的数据湖最佳实践.一键实现穿衣自由｜揭秘淘宝AI试衣间硬核技术：AnalyticDB向量在线召回.
来自：
云产品
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
大数据处理无缝对接.MongoDB在线数据实时写入后端数据库，再由专用计算引擎进行数据计算分析，分析结果再写回源数据库，以便业务快速访问计算结果，高效解决大数据业务场景海量数据复杂计算的难题.可进行数据库源数据访问.对大数据进行计算分析.异构数据库产品之间的数据流动.云数据库MongoDB.云原生数据湖分析DLA.35A_行业...
来自：
云产品
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
构建应用系统和分析系统的桥梁，并将它们之间的关联解耦，同时由于数据产生非常快且数据量大，需要非常高的可扩展性.可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等离线数据仓库系统.实时计算 Flink 版.天猫双11大促，各个分会场琳琅满目的商品需要实时感知价格变化，大量并发访问数据库导致会场页面响应时间...
来自：
云产品
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
实时和离线整合成一套架构，共同使用一份数据，统一数据服务出口，数据处理时效性提升，减少架构冗余.互联网服务：数据中台和实时大屏.基于业务日志的实时大屏和数据中台.某互联网服务公司原先通过Greenplum、EMR离线架构来搭建实时数仓，但数据更新时效性差，无法实时掌握业务动态。为实现全场景的用户增长需求，采用Flink...
来自：
云产品
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
在 PB 级别 的数据集上可以支持亚秒级别的处理延时，赋能用户标准实时数据处理流程和行 业解决方案；支持 Datastream API 作业开发，提供了批流统一的 Flink SQL，简 化 BI 场景下的开发；可与用户已使用的大数据组件无缝对接，更多增值特性助力 企业实时化转型。详情请查看 ...
- 产品推荐
- 这些文档可能帮助您