自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hive数据仓库跨版本迁移到阿里云 EMR 场景描述 解决的问题 客户在IDC或者公有云环境自建Hadoop集群构建 Hive数据仓库的数据迁移方案 数据仓库和分析系统，购买阿里云 EMR集群之后，Hive元数据库的迁移方案 涉及到将数据仓库和Hive元数据的数据库迁移上 Hive跨版本迁移后的数据订正 云。目前主流 Hive数据仓库迁移场景...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等 场景下的大数据解决方案。详见：https://www.aliyun.com/product/emapreduce 云架构设计工具 CADT：是一款为上云应用提供自助式云架构管理的产品，显著 地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，...
中小企业自建Hadoop集群上云解决方案
中小企业自建 Hadoop 集群上云解决方案，助力自建 Hadoop 用户快速构建云上半托管开源大数据平台，在保持原组件使用习惯延续的同时，充分利用云上服务特点，更加便捷地迭代企业大数据平台架构，聚焦业务价值开发。
本方案构建了安全的数据传输网络，基于 Apache Flink 官方产品Ververica，提供可选的实时计算平台半托管服务，在兼容开源 Flink 的基础上提供商业增值能力，可广泛用于实时 ETL、数据库 CDC、实时风控、实时入仓（湖）、实时机器学习等流式数据处理场景.多样化 OLAP 查询分析.多样化 OLAP 查询分析.OLAP 查询面向各类业务...
来自：
解决方案
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
提供 用户在云上使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机 器 学 习 等 场 景 下 的 大 数 据 解 决 方 案。详 情 请 查 看 www.aliyun.com/product/emapreduce Kerberos：Kerberos是一种网络身份验证协议，它旨在通过使用密钥加密为客户 端/服务器应用程序提供强身份验证。它提供了网络上的身份...
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构，能够满足不同的业务场景需要。
同构数据、异构数据闭环处理 云上打破异构数据库之间数据流通壁垒，云上云下同构数据畅通无阻，业务数据衔接更为流畅，大数据分析游刃有余.浓缩众多阿里云资深技术专家经验，深度内核优化 官网认证专业DBA护航服务，源码团队从性能、安全等多维度深度优化内核.35A_【标题】产品功能.孙慧颖,靖鑫,也树.架构丰富：单节点、...
来自：
云产品
大数据workshop
大数据workshop
2.增加对于DIM维表存储引擎 的选择说明 V1.3 2021-05-19 弦望、敬海 文档细节优化 V1.4 2021-05-21 明誉 文档细节优化 V1.5 2021-06-01 明誉 文档细节优化 V1.6 2021-06-18 明誉 增加对一些异常错误问题处 理的说明及注意事项 V1.7 2021-06-25 毕役 文档细节优化 V1.8 2021-06-28 明誉、衾影 1.方案架构更新 2.增加 Flink ...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
实时数仓Hologres
Hologres（原交互式分析）是一站式实时数据仓库引擎，支持海量数据实时写入、实时更新、实时分析，支持标准SQL（兼容PostgreSQL协议），支持PB级数据多维分析（OLAP）与自助分析（Ad Hoc），支持高并发低延迟的在线数据服务（Serving），与MaxCompute、Flink、DataWorks深度融合，提供离在线一体化全栈数仓解决方案。
与Flink、Spark等计算框架原生集成，通过内置Connector，支持高通量数据实时写入与更新，支持源表、结果表、维度表多种场景，支持多流合并等复杂操作.数据实时写入即可查询，支持DB、Schema、Table三级体系，支持视图View，原生支持Update/Delete，支持关联、嵌套、窗口等丰富表达能力，支持半结构JSON数据.支持表更新事件...
来自：
云产品
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
在HoloWeb控制台，选择SQL编辑器，然后点击新增SQL窗口，选择对应的数 据库，编辑填写相应的DDL建表语句（默认数据表的属性是列存模式，列存模式更 适合OLAP数据分析，数据表的行存模式更适合高QPS点查询场景）。1.首先创建ads_province_info表。文档版本：20210803（发布日期）39阿里云最佳实践金融大数据WorkShop 最佳...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
可对接 Storm/Spark 实时流计算引擎，亦可对接 Hadoop/ODPS 等离线数据仓库系统；通过消息实时推送的方式，让数据实时得以更新；大量并发访问商品数据库，减少页面响应时间.满足大规模访问需求.大促众多分会场，多缓存的架构设计，满足对商品变更的大量访问需求；天猫双11大促，各个分会场琳琅满目的商品需要实时感知价格...
来自：
云产品
云数据库ClickHouse
云数据库ClickHouse 是阿里云提供的分布式实时分析型列式数据库服务。具有高性能、开箱即用、企业特性支持。广泛应用于流量分析、广告营销分析、行为分析、人群划分、客户画像、敏捷BI、数据集市、网络监控、分布式服务和链路监控等业务场景。
查看数据库全部产品 云数据库 ClickHouse 云数据库 ClickHouse 版是全托管云原生 Serverless 实时...查看详情文档与工具快速开始 实例创建，白名单设置和数据导入 用户指南 集群变配扩容，数据查询，资源监控，慢SQL处理 开发指南 使用限制，引擎选择，资源队列 数据导入 MaxComputer，MySQL，OSS，SLS，Spark,Flink 数据导入
来自：
云产品
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
比如聚合任务按小时、天维度计算的聚合值，清洗任务加工的按天分区表等，在数据对比时就可以根据对应的时间周期来进对比，比如小时周期的任务实际已完整处理多个小时数据 后，就可以对比处理过的小时数 据，而天维度的聚合值，一般就需要等待新任务处理完完整的一天数 据后才能对比。2、数据规模 中小数据规模:建议进行全量...
微服务中心解决方案
注册中心和配置中心是 Dubbo 和 Spring Cloud 微服务架构中的重要组件，往往采用 ZooKeeper/Nacos/Eureka/Apollo 等开源方案进行自建，但因其依赖复杂，往往给客户带来的较高的建设和运维成本，同时，在 Hbase、Spark或Kafka 等大数据的环境下，会依赖 ZooKeeper 进行分布式系统的协调，此时，基于云上的托管服务，可以极大的降低运维复杂度，并提高应用可用性。
阿里云微服务中心解决了依赖 ZK/Nacos/Eureka 等开源注册和配置方案进行自建过程中引起的依赖复杂、建设和运维成本高的问题，同时，降低了在 Hbase、Spark或Kafka 等大数据的环境下的分布式系统协调难题，旨在打造云上微服务运维体系的闭环.谢赟辉,靖鑫,也树.微服务中心解决方案.本方案基于多源异构大数据的汇聚共享和交通...
来自：
解决方案
云原生数据仓库 AnalyticDB 入门与试用
快速上手阿里云云原生数据库AnalyticDB，了解其强大性能和秒级弹性，立即开始免费试用AnalyticDB，享受业内领先的数据库解决方案，轻松管理和优化您的数据资源。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台云原生数据仓库AnalyticDB云原生数据仓库AnalyticDB云原生数据仓库AnalyticDB MySQL版云原生数据仓库 AnalyticDB PostgreSQL 版产品概述产品功能选型与定价入门与试用技术解决方案相关资源控制台文档联系我们立即购买入门与试用秒级...
来自：
云产品
云原生数据仓库 AnalyticDB 选型与定价
阿里云云原生数据仓库AnalyticDB提供包年包月、按量付费两种计费方式，并伴有节省计划和资源包（存储包、计算包）等形式，您可以根据自身需求灵活选择和组合使用。了解AnalyticDB定价策略，持续管控和优化成本。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云AI 助理备案控制台云原生数据仓库AnalyticDB云原生数据仓库AnalyticDB云原生数据仓库AnalyticDB MySQL版云原生数据仓库 AnalyticDB PostgreSQL 版产品概述产品功能选型与定价入门与试用技术解决方案相关资源控制台文档联系我们立即购买选型与定价秒级...
来自：
云产品
运筹帷幄，快捷搭建企业经营数据大屏
随着数字化建设推进，如何从复杂的业务数据的中洞察趋势、辅助决策，成为了企业现代化管理的一项关键挑战。阿里云DataV数据可视化平台提供一站式企业经营数据大屏建设方案，提供监控大屏、PC看板、移动端看板等覆盖全端的经营数据实时监控与分析决策能力。
随着数字化建设推进，如何从复杂的业务数据的中洞察趋势、辅助决策，成为了企业现代化管理的一项关键挑战。阿里云DataV数据可视化平台提供一站式企业经营数据大屏建设方案，提供监控大屏、PC看板、移动端看板等覆盖全端的经营数据实时监控与分析决策能力。运筹帷幄，快捷搭建企业经营数据大屏 随着数字化建设推进，如何从...
来自：
技术解决方案
多媒体数据存储与分发
多媒体数据存储与分发解决方案融合对象存储 OSS、内容分发 CDN 、智能媒体管理 IMM 等产品能力，解决客户多媒体数据存储、处理、加速、分发等业务问题，进而实现低成本、高稳定性的业务目标。本技术解决方案以搭建一个多媒体数据存储与分发服务为例，搭建一个多媒体数据存储与分发服务。
多媒体数据存储与分发解决方案融合对象存储 OSS、内容分发 CDN、智能媒体管理 IMM 等产品能力，解决客户多媒体数据存储、处理、加速、分发等业务问题，进而实现低成本、高稳定性的业务目标。本技术解决方案以搭建一个多媒体数据存储与分发服务为例，搭建一个多媒体数据存储与分发服务。多媒体数据存储与分发 多媒体数据存储...
来自：
技术解决方案
- 产品推荐
- 这些文档可能帮助您