阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
阿里云技术框架 阿里云产品 简介 类比 ECS 弹性计算服务器 Linux服务器 RDS 关系型数据库 自有MySQL服务器 Dataworks 一站式数据开发平台 目前没有 MaxCompute 大数据计算服务 Hadoop系统 QuickBI 可视化数据平台 Tableau、Echarts、Kibana 1.3.2.系统架构设计 系统架构如下图所示：文档版本：20210802（发布日期）4离线大...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）服务器迁移中心（SMC）数据库（RDS）数据库（Redis）阿里云最佳实践分享群 最佳实践频道 数据传输（DTS）负载均衡（SLB）专有网络（VPC）阿里云 业务上云实践 小型互联网迁移阿里云 ...
ECS+EAIS弹性伸缩最佳实践
弹性加速计算实例EAIS通常与ECS配合使用，在大规模的弹性推理场景中，需要实现ECS弹性扩容的过程中自动创建弹性EAIS实例，并绑定到ECS上。当前弹性伸缩组ESS暂不满足此特殊场景的弹性伸缩需求。 本方案将通过结合CADT API、函数计算和Serverless工作流，演示如何快速且以可视化的方式进行此场景的弹性伸缩。
详见：https://www.aliyun.com/product/vpc 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处 理能力可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低 IT 成 本，使 您 更 专 注 于 核 心 业 务 创 新。详见 https://www.aliyun.com/product/ecs 负载均衡 SLB：阿里云...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
阿里云 Elasticsearch 提供 100%兼容开源 Elasticsearch的功能，以及 Security、Machine Learning、Graph、APM等商业功能，致力于数据分析、数据搜索等场景服 务。与开源社区背后商业公司 Elastic战略合作，为客户提供企业级权限管控、安全监控告警、自动报表生成等场景服务。Logstash 文档版本：20210802 III 自建 Elastic...
云速搭部署ECS最佳实践
通过云速搭实现ECS的部署，具体为使用自定义镜像，秘钥登录，外接eni 和云盘的一个ECS实例的部署。
详见：https://www.aliyun.com/product/vpc 云服务器 ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处 理能力可弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低 IT 成 本，使 您 更 专 注 于 核 心 业 务 创 新。详 见 https://www.aliyun.com/product/ecs 文档版本：20211203 3 ...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
更多信息，请参见：www.aliyun.com/product/vpc ECS：云服务器 ECS（Elastic Compute Service）是一种简单高效、处理能力可 弹性伸缩的计算服务。帮助您构建更稳定、安全的应用，提升运维效率，降低 IT 成本，使您更专注于核心业务创新。更多信息，请参见：www.aliyun.com/product/ecs QuickBI：阿里云上客户都在用的 BI...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
阿里云最佳实践分享群 最佳实践频道 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 自建Hive 数据仓库跨版本迁移到 阿里云Databricks数据洞察 文档版本：20210425（发布日期）文档版本：20210425 1 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 文档...
OA云资源申请流程自动化
在企业级客户场景中，对云资源的使用通常需要经过内部OA流程审批通过后再进行部署。本最佳实践致力于提供一个通用解决方案，以解决OA云资源申请流程中的自动化问题，提高运维效率，以更好地支撑业务创新。
最佳实践频道 阿里云最佳实践分享群 产品列表 云服务器 ECS 云速搭 CADT 云数据库 RDS 专有网络 VPC 钉钉扫描二维码或搜索钉群号 31852400入群 OA云资源申请流程自动化 最佳实践 文档版本：20240130（发布日期）OA云资源申请流程自动化 文档版本信息 文档版本信息 文档信息 属性 内容 文档名称 OA云资源申请流程自动化最佳...
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机（DDH）的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池，同时配合 ECS成熟稳定的虚拟化技术体系，充分利用云上资源 弹性、按使用付费的优势，快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统，满足安全、合规、 自定义部署、自带许可证（BYOL）等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系，支持ECS自定义部 署，可在DDH环境和多租户环境间迁移。 l支持自带许可证（BYOL）。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
创建云服务器 ECS 在阿里云管理控制台，通过产品与服务导航，定位到云服务器 ECS，单击进入云服务 器 ECS管理控制台。在左侧导航栏选择实例，在实例列表页面，单击创建实例。在自定义购买模式下，配置相关参数。基础配置具体配置说明见下表。类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东 2（上海）可用区 E 实例...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
解决方案 利用阿里云云服务器 ECS、弹性供应组等产品，用户在自建大数据等平台时，可以快 速实现一键创建跨计费方式、跨可用区、跨实例规格族、稳定的实例集群，同时弹性 供应组。文档版本：20200619 4 基于弹性供应组构建大数据集群分析 Spark集群及网络规划 1.Spark集群及网络规划 1.1.相关概念介绍 Spark是一种快速、...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
E-MapReduce：阿里云 E-MapReduce(EMR)是构建在阿里云云服务器 ECS 上 的开源 Hadoop、Spark、Hive、Flink 生态大数据 PaaS 产品。提供用户在云上 使用开源技术建设数据仓库、离线批处理、在线流式处理、即时查询、机器学习 等场景下的大数据解决方案。更多信息，请参见专有 E-MapReduce简介...
SAP S/4HANA上云最佳实践
本实践以SAP S/4HANA上阿里云的场景为原型，阐述了如何通过CADT在阿里云上快速交付符合最佳实践的基础云架构。
云服务器 ECS免去了您采购 IT 硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服 务器，实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器，解决多种业务需求，助力您的业务发展。详见：https://www.aliyun.com/product/ecs 云速搭 CADT：是一款为上云应用提供自助式云架构管理的...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
名词解释 云服务器 ECS：Elastic Compute Service，简称 ECS，是一种简单高效、处 理能力可弹性伸缩的计算服务。详见：https://www.aliyun.com/product/ecs 专有网络 VPC：Virtual Private Cloud，简称 VPC，是基于阿里云创建的自定义 私有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络 内创建和管理...
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求，在云 上推出了本地盘D1机型，这个系列提供了本地 盘而非云盘作为存储，提高了磁盘的吞吐能力， 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型，推出了一整套的自动化运 维方案，帮助用户方便可靠地使用本地盘机型， 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
是阿里云提供的一种基础云计算服 务。无需提前采购硬件设备，根据业务需要，随时创建所需数量的云服务器 ECS 实例。在使用过程中，随着业务的扩展，可以随时扩容磁盘、增加贷款，也能随 时释放资源，节省费用。EMR:E-MapReduce(EMR)是构建在阿里云云服务器 ECS上的开源 Hadoop、Spark、Hive、Flink 生态大数据产品，提供...
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
最佳实践频道 阿里云最佳实践分享群 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 MaxCompute湖仓一体方案 最佳实践 文档版本：20220402 文档版本：20150122（发布日期）II MaxCompute湖仓一体方案 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 MaxCompute湖仓一体方案 文档编号 169 文档...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
日志 HIVE分析 基于 DataWorks一站式开发 数据治理 产品列表 最佳实践频道 阿里云最佳实践技术分享群 实时计算、EMR EIP、VPC ECS DataWorks 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 基于Dataworks的大数据 一站式开发及数据治理 最佳实践 文档版本：20210207 文档版本：20150122（发布日期）II...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
产品列表：E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本：20200330 文档版本：20150122（发布日期）II EMR集群安全...
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像，可以为云上或云下的VMware环境提供有效 的数据保护，保证数据快速、安全、高效地备份到云 上，并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
在实例列表页面，单击服务器实例vCenter（参见《054@VMwareon弹性裸金属服 务器（神龙）最佳实践》）操作列下的远程连接，登录vSphereWebClient。在输入远程连接密码对话框中，输入密码，并单击确定。文档版本：20191204 15 HDRVMware虚拟机容灾 部署VMware环境 打开浏览器，输入服务器实例vCenter的私有IP，单击...
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
最佳实践频道 阿里云最佳实践技术分享群 产品列表 云服务器 ECS 云数据库 RDS 云速搭 CADT 日志服务 SLS 资源目录 RD 如二维码过期，请搜索群号：配置审计 CloudConfig 31852400 企业构建统一 CMDB数据源 文档版本信息 阿里云 企业构建统一 CMDB数据源 最佳实践 文档版本：20210827（发布日期）企业构建统一 CMDB数据源 ...
基于ALB的统一流量调度和监控
企业在走向容器化过渡阶段，内部同时存在ECS应用和容器应用的情况，在多域名业务场景下，为了对应用的入方向流量进行统一的调度和监控，可通过ALB快速完成内部应用统一流量的管控。 典型场景 多域名转发到混合应用类型场景。 方案优势 1、 高弹性，高并发 2、 减少SLB+EIP数量 3、 一键WAF透明接入 4、 配置简单易上手 5、 统一流量运营分析
云服务器 ECS免去了您采购 IT 硬件的前期准备，让您像使用水、电、天然气等公共资源一样便捷、高效地使用服 务器，实现计算资源的即开即用和弹性伸缩。阿里云ECS持续提供创新型服务器，解决多种业务需求，助力您的业务发展。详见：https://www.aliyun.com/product/ecs 云速搭 CADT：是一款为上云应用提供自助式云架构管理的...
- 产品推荐
- 这些文档可能帮助您