大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
上近实时数仓，打通云下数据上云链路，解决数据复 使用 UDF实现复杂数据类型转换和数据动态分 杂类型支持和动态分区问题，满足高级数据处理需求 区。的最佳实践。使用 DataWorks配置周期调度业务流程，数据自 产品列表 动入仓。借助 MaxCompute优化计算引擎，实现降本增 云服务器 ECS 效。云消息队列 Kafka 最佳实践频道 ...
E-HPC低成本实现量化策略回测
在量化交易场景下，量化策略的构建流程一般包括：想法、数据获取、建模、回测、结果分析等，在回测过程中往往需要海量的算力，进行大量数据的分析和处理，如何快速、高效和低成本的进行批量任务的调度，并快速获取结果是量化领域遇到的普遍挑战，这也是云计算能够带给客户的巨大优势。
“节 点与队列”页面支持用户新建或删除队列，本次实验所创建计算节点均纳入 EHPC集 群默认队列“workq”中，计算任务亦提交到 workq队列。后续生产环境可根据生产需要 创建新的队列。文档版本：20220321 5 E-HPC低成本实现量化策略回测 实验背景 自动伸缩 点击 EHPC集群“自动伸缩”子标签，跳转到自动伸缩配置页面。1.3....
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
阿里云最佳实践分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 自建Hive 数据仓库跨版本迁移到 阿里云Databricks数据洞察 文档版本：20210425（发布日期）文档版本：20210425 1 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 文档...
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计：利用阿里云官方架构设计模版，在此基础上二次定制（调整规格、资源数量、配置调整）。 快速完成PoC和生产环境的设计和部署
EIP弹性公网 IP NAT网关 最佳实践频道 阿里云最佳实践分享 群 钉钉扫描二维码 或搜索钉群号 31852400入群 MRACC加速倚天 ECS Flink集 群性能 最佳实践 文档版本：20230801（发布日期）倚天ECS实例加速Flink运行 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 MRACC加速倚天 ECS实例 Flink集群性能 文档编号 347 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
数据一致性校验 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 CDH迁移升级 CDP 最佳实践 文档版本：20211029 文档版本：20150122（发布日期）II CDH迁移升级 CDP最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 CDH迁移升级 CDP最佳实践 ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
解决问题 使用 GPU云服务器搭建推理环境 使用容器服务 Kubernetes版构建推理环 境 使用 NAS存储模型数据 使用飞天 AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务 Kubernetes版 NAS共享存储 阿里云最佳实践技术分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称...
云速搭部署MongoDB应用
通过云速搭实现一个云数据库MongoDB版的产品实例
配置项 参数说明 实例名 mongodb-test 支付方式 按量付费 数据库版本 4.2 存储引擎 WiredTiger 只读节点 无只读节点 节点数 三节点 实例规格 dds.mongo.2xlarge 存储空间 20（G）支付方式 按量付费 设置密码(大写、小写、数字、特殊字符占三种，长度为 8－32位)文档版本：20211206 9 云速搭部署MongoDB应用 CADT设计部署...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
名词解释 HDFS：Hadoop分布式文件系统（HDFS）被设计成适合运行在通用硬件上的分 布式文件系统，它和现有的分布式文件系统有很多共同点。但同时，它和其他的分 布式文件系统的区别也是很明显的。HDFS 是一个高度容错性的系统，适合部署 在廉价的机器上。HDFS 能提供高吞吐量的数据访问，非常适合大规模数据集上 的应用。...
云Clickhouse冷热数据分层存储
基于云ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定性、低维护成本、高性价比的实时数据分析、精准营销、业务运营、业务分析、业务预警、业务营销、数仓加速等场景化方案，本实践会向客户提供数据库低维护成本、数据库链路构建、冷热分层存储、快熟分析等操作实践。 解决问题 1. 维护成本低不用建设维护体系，稳定性高，数据倾斜自动均衡。 2. 完善的数据同步链路，可以平滑将业务库、大数据、日志服务的数据同步到Clickhouse，降低研发成本。 3. 平滑升级版本，业务中断小。 冷热分层后透明读取，帮客户节约整体数据存储成本。
云 ClickHouse冷热数据分层存储最佳实践 技术架构 场景描述 基于云 ClickHouse可以给电商、游戏、互联网以及其他行业提供高性能、高稳定 性、低维护成本、高性价比的实时数据分 析、精准营销、业务运营、业务分析、业 务预警、业务营销、数仓加速等场景化方 案，本实践会向客户提供数据库低维护成 本、数据库链路构建、冷热...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
最佳实践频道 阿里云最佳实践分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 基于弹性供应组构建大数据 分析集群最佳实践 文档版本：20200619 文档版本：20150122（发布日期）II 基于弹性供应组构建大数据集群分析 文档版本信息 文档版本信息 ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
拟达到以下业务目标：清楚明了的成本分账，做好成本预算和控制 按照业务特征，选择合理的付费方式，降低整体云上成本 拥抱云原生，减少基础设施运维成本 在重要的时间点，做好资源预留，保障业务正常运行 文档版本：20210329 1 云上成本优化 workshop 架构设计 1.架构设计 1.1.业务应用 客户的业务系统，在微服务化改造之后...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
进行 TestDFSIO测试 产品列表 EMR 云服务器 ECS 云速搭 CADT 阿里云最佳实践分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 大数据系统基准性能测试 最佳实践 文档版本：20211123 文档版本：20150122（发布日期）II 大数据系统...
基于链路追踪+ECI的流量洪峰应对
云原生技术已经为越来越多的互联网客户接受，对于在线教育、互动娱乐、电商等类型的客户会由于业务的原因存在突增业务流量，因此对于系统的稳定性非常关注，结合阿里云的容器服务、链路追踪、弹性容器ECI等产品，帮助客户业务实现容器化改造，并且方便发现系统应用架构中的瓶颈等问题，实现系统高弹性的同时优化客户的云资源使用成本。 l 方案优势 ￚ 支持分布式追踪、调用链分析、DB调用分析、链路拓扑分析、业务指标统计等系统链路调用分析。 ￚ 运维研发效率提高，链路追踪服务端全托管，免运维。 ￚ 链路追踪的应用调用链分析能力结合ECI高弹性能力，提升应用系统在洪峰流量冲击下的稳定性。 ￚ 链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。 ￚ 结合SLS Ingress可以基于应用前端访问性能指标做弹性伸缩，更丰富的云原生弹性能力。
最佳实践频道 阿里云最佳实践技术分享群 4.链路追踪接入方便，ECI POD弹性伸缩，节省用户运维成本和云资源使用成本。解决问题 1.云资源弹性能力不足，流量洪峰时无法应 对 2.复杂应用性能出问题时定位困难 3.应用中间件学习运维成本高 4.云资源成本合理利用能力不足 文档版本：20200401（发布日期）文档模板（手册名称）/...
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境，运行药物筛选应用AutodockVina 的场景中，这里采用批处理方式来提交 作业，并可以可视化计算结果。 方案架构 1.计算之前，将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时，将数据从OSS拉取到文件共享存储NAS上 3.计算时，在EHPC集群上进行，计算节点从NAS上读写数据 • 容量型NAS：低成本，大容量 • 性能型NAS：适合高IOPS应用，作为临时目录 • CPFS：适合超大规模，并行度极高的作业 4.计算节点： • 如果对计算时间不敏感，希望低成本运算，可选ECS实例 • 如果时效性要求高，建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大，可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接（moleculardocking）模拟计算进行药物筛选，是模拟小分子配体和生物大分子受体的 相互作用，预测配体和受体的结合模式和亲和力。 • 通常，有很多已有的配体库，如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体，模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体，不同配体之间没有依赖，因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
使用 OSS保存计算结果 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 对象存储 OSS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 EHPC药物筛选最佳实践 文档版本：20210811 II 企业上云实践 EHPC...
ACK容器平台集群安全控制
场景描述 本方案实践主要是通过一些实践示例来介绍 用户对于在阿里云上使用Kubernetes集群服 务的容器平台安全管控的实践验证与使用建 议。 方案优势 容器集群部署快捷 授权与安全策略配置方便 丰富的安全控制实践介绍 解决问题 容器集群API Server的安全访问控 制 容器服务多租户场景下的授权管理 容器中的敏感信息数据的存储 容器服务集群安全策略配置管理 产品列表 容器服务Kubernetes版 负载均衡SLB 专有网络VPC 访问控制RAM
Kubernetes API server是以静态 Pod的形式运行在集群的 Master 节 点 上，可 以 在 集 群 Master 节点的/etc/kubernetes/manifests/kube-apiserver.yaml查看 Kubernetes API server的配置信息。步骤1 Kubernetes API server安全控制配置参数解读。重要配置参数解读:insecure-port:默认情况下 API server会监听非安全端口 ...
云速搭部署安全组最佳实践
本实践通过云速搭实现安全组和企业安全组的部署。
V1.0 2021-11-17 游士 创建 最佳实践频道 阿里云最佳实践分享群 文档版本：20211117 I 云速搭部署安全组 目录 目录 文档版本信息.I 法律声明.II 目录.1 前置条件.2 产品介绍.3 云速搭架构设计入门.4 1.前序工作.5 1.1.理解资源级别.5 1.2.资源规划.5 2.CADT部署安全组应用架构.6 2.1.应用架构设计.6 2.2.部署应用.15 3.CADT...
云速搭部署高可用虚拟 IP HaVIP
通过云速搭部署一个高可用虚拟 IP，并挂载到两个 ECS 实例节点上，HAVIP 将自动与两个 ECS 关联，并接受通过 ARP 协议宣告 来绑定某个 ECS 的网卡。
审阅人 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-12-01 厉博 创建 最佳实践频道 阿里云最佳实践分享群 文档版本：20211201 I 云速搭部署高可用虚拟 IP HaVIP 目录 目录 文档版本信息.I 法律声明.II 目录.1 前置条件.2 产品介绍.3 云速搭架构设计入门.4 1.前序工作.5 1.1.理解资源级别.5 1.2.登录云速搭 CADT...
云速搭部署Redis应用
通过云速搭实现一个云数据库Redis的产品实例
配置项 参数说明 实例名 redis-test 支付方式 按量付费 版本类型 企业版 系列类型 性能增强型 版本号 5.0 架构类型 集群版 分片数 2分片 节点类型 双副本 实例规格 4G集群性能增强版(2节点)密码设置 稍后设置 文档版本：20211206 9 云速搭部署Redis应用 CADT设计部署应用 步骤2 完成以上资源配置后，单击保存，并设置应用...
自建K8S集群迁移ACK弹性裸金属集群
场景描述 在微服务化改造之后，企业在享受K8S带来应 用管理的便利的同时，存在硬件性能不足，本 地扩展性差，容器容灾难，K8S管理复杂等问 题。 解决问题 1.增强K8S扩展性：如何通过弹性裸金属服务 器的强劲硬件性能，实现云端资源急速扩 展，从容应对应用访问压力大的问题。 2.如何简化云端K8S运维：通过阿里云容器服 务（ACK）实现敏捷开发和部署落地，加速 企业业务迭代。 3.如何综合考虑迁移和容灾：如何整合云上和 云下容器资源实现遇到故障时可以通过健 康检查实现自动容灾。 4.如何不改应用上云：如何实现应用上云数据 库连接零修改。 5.数据库上云及回退：如何实现上云回退； 产品列表 ACK/ECS/SLB/NAT网关/弹性裸金属服务器/DTS/RDS MySQL
阿里云最佳实践分享群 最佳实践频道 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 自建 K8S集群 迁移 ACK弹性裸金属集群 最佳实践 文档版本：20220128 文档版本：20150122（发布日期）II 自建 K8S集群迁移 ACK弹性裸金属集群 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 自建 K8S集群...
- 产品推荐
- 这些文档可能帮助您