大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
提供用户在云上使用开 源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等场 景下的大数据解决方案。详见：https://www.aliyun.com/product/emapreduce 大数据计算服务 MaxCompute：是一项大数据计算服务，它能提供快速、完全 托管的 PB级数据仓库解决方案，使您可以经济并高效的分析处理海量数据。详见...
云效应用交付平台AppStack
阿里云云效AppStack是以应用为核心的云原生应用交付平台，提供一站式应用交付能力，帮助企业建立应用持续交付整体解决方案，加速企业云原生与DevOps转型，提升团队研发效能。
支持 Java、Node.js、Python等各种主流语言和技术框架，满足各种持续集成场景.内置代码扫描、安全扫描和各种自动化测试能力，确保业务交付质量.支持虚拟主机、K8S等各种发布方式。通过灰度发布、分批发布等各种策略，保障业务交付的稳定.支持可视化编排CICD流程，可灵活编排串行、并行任务，自定义企业研发发布流程.Z型图片...
来自：
云产品
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
说明：MaxCompute项目名称默认与 DataWorks的工作空间名称一致，支持手动修 改。后续配置 odps客户端以及创建外部项目都需要引用 MaxCompute项目名称。文档版本：20220402 10 MaxCompute湖仓一体方案 云数仓 MaxCompute 步骤6 创建成功 2.2.配置 MaxCompute客户端 步骤1 登录 ECS控制台 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
云上高并发系统改造 最佳实践 场景描述 部署架构图 随着业务的发展，系统并发压力越来越大，如 何进行系统改造以满足高并发场景的业务需 求成为了一个技术难题。本实践抽象于客户的 实际场景，提供高并发下系统改造的理论指导 和部分实操演示。主要适用于以下场景：1.系统并发压力大，需要进行系统应用改 造。2.数据层并发...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
在这样的 背景之下，阿里云MaxCompute率先提出湖仓一体，为业 界和用户展现了一种数据湖和数据仓湖互相补充，协同工 作的架构。这样的架构同时为用户提供了数据湖的灵活性 和数据仓库的诸多企业级特性，将用户使用大数据的总体 拥有成本进一步降低。方案优势 1.融合数据湖和数据仓库优势，在灵活性和效率上找 到最佳平衡。2...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
虚拟节点 Virtual Node来源于 Kubernetes社区的 Virtual Kubelet技术，其实现了 Kubernetes与弹性容器实例 ECI的无缝连接，让 Kubernetes集群轻松获得极大的 弹性能力，而不必受限于集群的节点计算容量。正因为 Virtual Node可以轻松支持更高弹性和 Pod容量，灵活动态的按需创建 ECI Pod，免去集群容量规划的麻烦，所以它...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
02-26 创建 乔夫、吴昊 使用 CADT创建资源，更新部 V1.1 2021-07-23 游士 分命令和链接 文档版本：20210723 I 自建Hadoop迁移MaxCompute 前言 前言 概述 客户基于 ECS、IDC自建或友商自建了大数据集群，为了降低企业大数据计算平台 的成本，提高大数据应用开发效率，更有效保障数据安全，把大数据集群的数据、作 业、调度...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
可靠性 使用阿里云数据库 RDS保存 Hive的元数据信息，可以提升数据可靠性和服务可 用性，免除客户运维自建 MySQL数据库的工作。文档版本：20210721 2 自建Hive数据仓库跨版本迁移到阿里云 EMR 前置条件 前置条件 在进行本文操作之前，您需要完成以下准备工作：注册阿里云账号，并完成实名认证。您可以登录阿里云控制台，并...
弹性高性能计算E-HPC
弹性高性能计算（E-HPC）基于阿里云基础设施，拥有公有云、专有云等多种产品形态，为用户提供一站式HPC/HPDA平台服务，面向科研、生产、教育和行业大计算，提供快捷，弹性，安全的服务和拥有与阿里云产品互通的高性能计算服务平台。
通过高性能计算技术，帮助企业完成工业级的仿真工作需要大量的计算和高性能的存储资源，优化设计方法，降低成本，缩短产品设计生产周期.企业将可以用到更加灵活的使用价格.可以随时随地进行建模解决复杂的仿真应用问题。借助同时模拟多个不同设计方案的能力，基于云计算技术的仿真进行产品设计和工程仿真.使用SCC实例，满足...
来自：
云产品
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习等 场景下的大数据解决方案。详见：https://www.aliyun.com/product/emapreduce 云架构设计工具 CADT：是一款为上云应用提供自助式云架构管理的产品，显著 地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
大型 天龙八部 OL、诛仙、魔兽 多人在线角色扮演游戏 世界等 MOBA Multiplayer online battle arena，多人在 DOTA、英雄联盟、王者 线战术竞技游戏 文档版本：20201127 3 基于ECI+FaaS构建游戏战斗结算服 游戏通识介绍 1.1.2.游戏载体区分 类别 代表作 主机游戏 使命召唤、孤岛惊魂（XBOX）、血源诅咒（PS）等 PC端游 仙剑...
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
搭建客户 IDC的 VPN网关和 Magento业务系统 本实践方案中，使用华东 2（上海）VPC环境模拟客户 IDC网络，主要安装以下部 件：（1）在 ECS上安装 FlexGW VPN，用于模拟 IDC网络的 VPN网关。（2）在 ECS上安装 Magento，用于模拟客户业务系统。1.1.使用云速搭 CADT快速创建资源 步骤1 登录云速搭CADT控制台。...
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例，介绍如 何在混合云存储环境下部署VMware虚拟化平台， 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用，比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
这样做 有助于识别设备上的工作人员，并跟踪系统的所有重要变化。superuser用户应该仅 文档版本：20191223 26 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 用于初始化配置。系统页面 系统页面包括五个主要组成部分：系统信息、系统菜单、路径导航/操作、容量使用/系统拓扑和设备视图。监视菜单 监视菜单可以...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
产品列表 最佳实践频道 阿里云最佳实践技术分享群 操作审计(ActionTrail）配置审计（Config）函数计算（FC）日志服务（SLS）对象存储（OSS）云服务器（ECS）数据库（RDS）专有网络（VPC）云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 云上持续审计合规 最佳实践 文档版本：V1.3（2021-07-26）文档...
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU，利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
对应以上三部 分，RAPIDS分别使用 CUDF，CUML和 CUGRAPH三个软件库来进行加速。CUDF是一个 GPU版本的 PANDAS(最常用的数据处理 Python库)。CUML是 RAPIDS中用于加速机器学习算法的库，其中包含了异常火爆的 XGBOOST算法。CUGRAPH提供了 3个库用于统一的图分析的 GPU加速。cuML简介 cuML是 RAPIDS项目中实现机器学习算法和...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
开启系统管理员和系统审计员 数据库审计系统有三个角色，安全管理员（secadmin）、系统管理员（sysadmin）和 系统审计员（sysauditor）： 全管理员：通过数据库审计控制台登录的角色，是监控、管理、制定审计安全策略的工作人 员。 系统管理员：基于系统级别的操作对本系统做统一的监控与管理；可以监控系统性能、控制 ...
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
阿里云VMwareon弹性裸金属 最佳实践 部署架构图 场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。解决问题 网络架构图 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
基因计算工作流 最佳实践 架构图 场景描述 适合利用容器服务 Kubernetes 版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目 Argo实现，支持并发、循环、重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。...
- 产品推荐
- 这些文档可能帮助您