大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
✓ 自定义集群环境：您可以通过引导操作和集群脚本灵活配置集群环境，将第三方优化和集 群管理工具部署到 EMR环境。✓ 自主运维：您可以登录 Master节点，查看集群日志和部署环境，优化和部署配置。✓ 弹性伸缩：可以通过弹性伸缩的方式灵活扩容或缩容。深度整合 ✓ 支持基于阿里云 ECS和 ACK部署 EMR集群，支持 ECS多种...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
近年来KV存储（HBase）、搜索（ElasticSearch）、流式处理（Storm/Spark Streaming/Samza）、时序数据库（OpenTSDB）等等专用系统应运而生，产生了同一份数据集需要被注入到多个专用系统内的需求。利用Kafka 作为数据中转枢纽，同份数据可以被导入到不同专用系统中。.构建应用系统和分析系统的桥梁，并将它们之间的关联...
来自：
云产品
云数据库HBase
阿里云云数据库 HBase 版（ApsaraDB for HBase）是基于 Hadoop 且100%兼容HBase协议的高性能、可弹性伸缩、面向列的分布式数据库，轻松支持PB级大数据存储，满足千万级QPS高吞吐随机读写场景。
云数据库 HBase 版.云数据库 HBase 版是面向大数据领域的一站式NoSQL服务，100%兼容开源HBase并深度扩展，支持海量数据下的实时存储、高并发吞吐、轻SQL分析、全文检索、时序时空查询等能力，是风控、推荐、广告、物联网、车联网、Feeds流、数据大屏等场景首选数据库，是为淘宝、...加群交流HBase相关技术.云大使通用分享模块.
来自：
云产品
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
基于分区多副本技术，支持集群跨可用区部署，实现机房级故障的自动恢复，保证数据强一致，并有性能/可用性更优的最终一致模式灵活可选.支持互联网、VPC、安全组等多种网络访问控制，并提供账号认证、权限、加密、审计等多种安全保护手段.支持按需、定期的进行备份和还原，超大规模存档数据可快速、指定时间点恢复，并且使用...
来自：
云产品
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
最佳实践频道 阿里云最佳实践分享群 产品列表 VPC、Flink、Kafka、RDS、EMR 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 开源Flink迁移 实时计算 Flink全托管版 最佳实践 文档版本：20211222 文档版本：20150122（发布日期）II 开源 Flink迁移实时计算Flink全托管版 文档版本信息 文档版本信息 文本...
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
消息在集群内广播，确保每条消息推送给集群内所有订阅者，确保消息被集群内的每个订阅者消费.通过动态路由规则配置，解决消息的跨地域、远距离、毫秒级实时同步难题，确保地域之间的数据一致性与完整性.高速通道百万级 TPS 传输能力，多维度消息路由规则，毫秒级实时同步.支持断点续传，任意节点故障，同步链路仍可秒级恢复...
来自：
云产品
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
自建 Hadoop迁移 MaxCompute 场景描述 解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群，自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本，提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率，更有效保障数据安全，把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
在本实践中，使用 Java程序模拟输 出包含三种数据结构：map、list、struct的信息，并经过序列化后投递至 Kafka集 群。数据信息示例：为简化操作流程，本实践已经预打包好了数据信息发生及投递的程序包。下载数据信息发生及投递程序包。yum install-y git git clone ...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP EIP 云服务器 ECS 消息队列 Kafka版 云数据库 ClickHouse 实时计算 Flink版 如二维码过期，Quick BI数据可视化分析平台 请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于 Flink+ClickHouse 构建实时游戏...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 MaxCompute湖仓一体方案 最佳实践 文档版本：20220402 文档版本：20150122（发布日期）II MaxCompute湖仓一体方案 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 MaxCompute湖仓一体方案 文档编号 169 文档...
大数据workshop
大数据workshop
本实例架构图:文档版本：20210628（发布日期）9 阿里云最佳实践大数据 WorkShop 最佳实践项目实践（注：CADT暂不支持创建实时计算 Flink集群，下一章节将通过页面创建）需要注意：使用 CADT进行资源创建时，所有的实例名需要设置为自定义名称 步骤1 登录 CADT控制台。...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
智能应对流量变化，容器化集群的弹性攻略
本方案使用应用型负载均衡和容器服务Kubernetes版智能分配网络流量，提高应用的高可用性和吞吐量，使用Kubernetes的cluster-autoscaler社区开源组件以及Kubernetes的Horizontal Pod Autoscaler内置组件进行弹性伸缩，提升资源利用率，缩减资源成本。
智能应对流量变化，容器化集群的弹性攻略 本方案使用应用型负载均衡和容器服务Kubernetes版智能分配网络流量，提高应用的高可用性和吞吐量，使用Kubernetes的cluster-autoscaler社区开源组件以及Kubernetes的Horizontal Pod Autoscaler内置组件进行弹性伸缩，提升资源利用率，缩减资源成本。在线部署 适用客户 正在使用或...
来自：
技术解决方案
E-MapReduce Serverless Spark 版
E-MapReduce Serverless Spark 是阿里云 E-MapReduce 基于 Spark 提供的一款全托管、一站式的数据计算平台。它为用户提供任务开发、调试、发布、调度和运维等全方位的产品化服务，显著简化了大数据计算的工作流程，使用户能更专注于数据分析和价值提炼。
立即开通 管理控制台 产品文档用户钉群免费咨询我们产品优势产品功能应用场景产品优势云原生极速计算引擎 内置 Spark Native Engine，相对开源版本性能提升300%；内置 Celeborn(Remote Shuffle Service)，支持 PB 级 Shuffle 数据，计算资源总成本最高下降 30%。开放化的数据湖架构 支持计算存储分离，计算可弹性伸缩、存储...
来自：
云产品
容器Swarm集群向ACK集群灰度迁移
场景描述 随着K8S生态的完善，越来越多的客户需要从 Swarm集群迁移向ACK集群 解决问题 1.迁移过程中维持业务的延续性 2.迁移过程业务高可用 3.迁移过程可灰度 4.迁移过程可回滚 5.迁移进度可把控 产品列表 专有网络VPC 云数据库RDSMySQL 容器服务ACK 云服务器ECS
文档版本：20190401 13 容器 Swarm集群向 ACK集群灰度迁移最佳实践 创建数据库 步骤6 创建 magento数据库，命名为 magento_db，字符集 utf8、授权账号 magento、读写 权限。文档版本：20190401 14 容器 Swarm集群向 ACK集群灰度迁移最佳实践 创建 Kubernetes集群 5.创建 Kubernetes集群 步骤1 搜索进入容器服务 Kubernetes...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
阿里云最佳实践分享群 最佳实践频道 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 自建 K8S集群 迁移 ACK弹性裸金属集群 最佳实践 文档版本：20220128 文档版本：20150122（发布日期）II 自建 K8S集群迁移 ACK弹性裸金属集群 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 自建 K8S集群...
云速搭部署ACK集群
通过云速搭实现 ACK 的部署
手动创建ACK集群 本节向您介绍通过 CADT手动创建 Flannel网络插件和 Terway网络插件的 ACK集 群。步骤1 访问 https://bpstudio.console.aliyun.com/ ，登录云速搭CADT控制台。说明：如果提示需要开通服务，请根据提示进行开通。步骤2 在 CADT控制台的菜单栏单击新建>新建空白应用。文档版本：20220110 8 云速搭部署 ACK集群...
- 产品推荐
- 这些文档可能帮助您