云工作流
云工作流 CloudFlow 是一个用来协调多个分布式任务执行的全托管 Serverless 云服务，用户可以用顺序、分支、并行等方式来编排分布式任务，服务会按照设定好的顺序可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行用户定义的重试逻辑，以确保工作流顺利完成。
然后可以将所有Shard产生文件进行聚合，写入表格存储，最后为每个用户生成账单。工作流支持对流程中的单个步骤失败进行重试，降低流程失败概率。工作流支持动态并行任务执行，实现数据处理能力的高可扩展性.支持动态并行任务执行，实现数据处理能力的高可扩展性.解决并发执行问题.函数计算 FC.日志服务 SLS.表格存储 Table...
来自：
云产品
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
2.file_format，用于指定storeas所使用FileFormat，如orc、textfile等，设置后忽 略input_format，output_format 3.input_format，用于指定文件存储时所使用的InputFormat对应的类名，如 org.apache.hadoop.mapred.TextInputFormat 4.output_format，用于指定文件存储时所使用的OutputFormat对应的类名，如 org.apache....
中小企业基于SAG APP实现云上移动办公
1. 客户端一键接入上云，配置自动化 2. 城域内 Internet 就近接入，快速高效 3. 数据加密传输，满足安全性要求 4. 阿里云控制台统一配置管理
文档版本：20211008 19 中小企业基于 SAG APP实现云上移动办公最佳实践 通过私有域名访问云上资源 步骤4 单击设置 PrivateZone，根据应用服务部署位置，选择 Web服务所在地和 VPC。访 问所在地只能选择与服务所在地同地域的云连接网实例，且确保所选地域的云连接网 实例已加载到云企业网实例中。配置完成后，通过云连接网...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
这些数据库或 者表中的数据在写入到任何设备（磁盘、SSD、PCIe卡）或者服务（表格存储 OSS、归档存储 OAS）前都会进行加密，因此实例对应的数据文件和备份都是以密文形式存 在的。TDE加密采用国际流行的 AES算法，密钥长度为 128比特。密钥由 KMS服务加密保 存，RDS只在启动实例和迁移实例时动态读取一次密钥。您可以自行...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
确认无误，阅读、同意并勾选《通用型 NAS存 储包服务协议》，并单击去支付。步骤7 支付完成，返回管理控制台。文档版本：20200220 18 云端影视渲染 创建并配置 NAS实例 创建 NAS实例挂载点 步骤1 在文件系统列表，单击新建 NAS实例操作列下的管理。步骤2 单击挂载点下的添加挂载点。步骤3 在添加挂载点对话框中，完成以下...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
为了持续支持业务高速 且稳定地发展，其在快速上云后，将核心业务改造 为全 Serverless架构的中台模式，采用函数计算+API网关+表格存储 OTS 作为计算网络存储 核心，弹性支撑日常和大促峰谷所需资源，轻松支 撑 618/双 11/双 12大促。核心价值 全 Serverless 架构：FC+API 网关+OTS Serverless 解决方案。弹性高可用：毫秒...
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计，提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云，涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求，如等保2.0法规要求。 同时当云上资源达到一定规模时，在内部会制定合规管控的基线，满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志，还需依赖云平台提供的持续监控和自动告警能力，实现合规性的自主监管。
基于阿里云分布式文件系统和 SSD盘高性能存储，RDS支 持 MySQL、SQL Server、PostgreSQL、PPAS和 MariaDB引擎，提供了容灾、备份、恢复、监控、迁移等方面全套解决方案，彻底解决数据库运维烦恼。详见：https://www.aliyun.com/product/rds/mysql 文档日期：20210726 V 云上持续审计合规最佳实践 目录 目录 文档版本信息.I ...
DBS通过IPSec VPN备份自建数据库
场景描述 客户业务系统部署在IDC或者公有云环境，对业 务数据有云上备份需求。在客户交流过程中，基 于数据高可用和灾备需求，要求将数据备份至阿 里云OSS的存储空间，同时备份数据流基于 IPSecVPN/专线进行安全传输。 解决的问题 自建数据库的云上/跨云备份需求 DBS提供了完善的备份机制和API OSS的分层存储机制降低备份集储存成本 基于IPSecVPN/专线进行安全传输。 产品列表 VPC，ECS，DBS，VPN网关，OSS
文件中保存的信息用于批量创建和配置 DBS备份任务，使用者可以从 https://code.aliyun.com/best-practice/093/tree/master 获取该 JSON样例文件，文 件名为 db_collections_sample.json，配置文件如下图所示：文档版本：20210812 25 DBS通过 IPSec VPN备份自建数据库 DBS SDK使用演示 JSON配置文件中主要包括 AcsClientInfo...
多账号下企业分账
场景描述 财务分账，是根据企业的成本中心，将云上资源的成本划分到给各个项目组/业务部门；助力企业快速梳理云上成本结构，搭建复杂组织架构下的成本关系，便捷地进行财务和云上成本的管理。 大型企业或集团公司，由于组织架构复杂，业务复杂等原因，通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源，如何建立有效的分账方案，是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理，IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况，清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
使用 RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩展，多 种 存 储 类 型 供 选 择 全 面 优 化 存 储 成 本。详 见：https://www.aliyun.com/product/oss 云原生关系型数据库 PolarDB：PolarDB是阿里巴巴自主研发的下一代云原生关 系型数据库，目前兼容三种数据库引擎：MySQL、PostgreSQL、高度兼容...
阿里云数据库快速搭建疫情分析系统最佳实践
疫情态势分析和防控任务迫在眉睫，如果快速搭建高效的疫情态势分析系统是众多部门和单位的难题，阿里云polardb for PG+Ganos解决方案可在极短时间内完成分析系统搭建，有效助力疫情防。 方案优势： 1、性能优越：Ganos作为自研的时空数据库引擎，相比postgis性能更优秀。 2、安全稳定：故障自动切换自愈，资源隔离，多副本存储。 3、简单易用：开箱即用，兼容postgresql，打通quickbi快速搭建数据分析展示。 4、功能强大：相比postgis在时空模型上做了较多扩充，支持几何模型，栅格模型，网络模型，时空轨迹模型，点云模型，拓扑网络模型。
阿里云数据库快速搭建疫情分析系统 最佳实践 业务架构 场景描述 疫情降临，疫情态势分析和防控任务迫在眉 睫，如果快速搭建高效的疫情态势分析系统 第三方 GIS数据接入 是众多...存储资源规划 资源类别 配置项 配置明细 对象存储 OOS Bucket名 da-project-data-2021 存储类型 标准存储 读写权限 私有 文档版本：20210725 45
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
4.单击 View as XML，并插入capacity-scheduler.xml由转换器工具生成的完整 文 件。5.添加必要的配置属性。6.单击保存更改。7.搜索yarn-site并找到 yarn-site.xml的 YARN 服务高级配置片段（安全阀）。8.单击以 XML 格式查看并以 XML 格式添加所需的配置。（可选）使用+和-来添加和删除属性。9.单击保存更改。10.重新启动 ...
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像，可以为云上或云下的VMware环境提供有效 的数据保护，保证数据快速、安全、高效地备份到云 上，并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
ￚ 数据级容灾：在数据中心备份您的数据库、虚拟机、物理机整机，备份数据存 储在本地并自动上云。可在自建数据中心发生重大灾害时保障数据安全，同时 提供高效的本地和云上的双重恢复。此外，利用混合云容灾服务的服务器整机复制能力，您可以方便地将本地服务器 迁移到阿里云ECS，无需重构，您就可以完成应用轻松上云。 ...
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造：由于历史原因，客户业务系统只支持 ORACLE数据库，客户没有技术/时间去做技术栈 改造。 2.高性能：希望拥有比虚拟机更高的性能和稳定 性，以保障数据库高性能，支撑高并发的业务系 统。 3.高可用：追求数据库服务的高可用，在某一台数 据库服务器宕机时快速切换备机，实现对业务应 用的最小影响。 4.数据安全性：极端情况下能找回数据，数据备份 和恢复更方便。
文档版本：20220207 III 弹性裸金属自建 ORACLE数据库双机 前言 快照：快照是某一时间点一块云盘和共享块存储（以下简称磁盘）的数据状态文 件。常用于数据备份、数据恢复和制作自定义镜像等。镜像：ECS镜像提供了创建 ECS实例所需的信息。创建 ECS实例时，必须选 择镜像。镜像文件相当于副本文件，该副本文件包含了一块或...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
创建 V1.1 2019/09/19 筱晖-文档优化 V1.2 2019/12/03 云魁 增加快照恢复 到阿里云 ElasticSearch 实例 V1.3 2021/08/02 游士 使用 CADT迭 代文档并优化 文档版本：20210802 I 自建 ElasticSearch快照备份 OSS 前言 前言 概述 客户业务系统部署在 IDC或者公有云环境，通常会部署基于 ELK的日志收集、存 储、分析和展现系统...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 55 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤9 新建作业，作业名称：flink_uv_job，作业类型：FLINK_STREAM/DATASTREAM，存 储位置：/作业开发/新手任务 文档版本：20201224 56 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤10 更新作业的主要信息，比如完整主类名、...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
这些组件一起工作来读取文 件（tail file）并将事件数据发送到您指定的输出。启动 Filebeat时，它会启动一个或多个查找器，查看您为日志文件指定的本地路径。对于 prospector 所在的每个日志文件，prospector 启动 harvester。每个 harvester 都会为新内容读取单个日志文件，并将新日志数据发送到 libbeat，后者将聚合事件...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
由于本最佳实践采用 Mac系统开发，如果使用 Windows平台请自行找到 hosts文 件。其中所有 MongoDB的 IP都设置为安装的 MongoDB的 ECS IP地址，而 rabbitmq 的 IP设置为安装的 ECS IP地址。2.修改配置文件中所有 password变量的值为常量”password”。请替换配置文件中，如下变量的值为 password。{CONFIG_SERVICE_PASSWORD}...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
CentOS 7.4 64位 存储 80GB 类别 配置项 说明 网络和安 网络 专有网络 全组 选择已创建的 VPC（客户 IDC-VPC）和交换机（vswitch-az-g）。公网带宽 勾选分配公网 IPv4地址。付费模式：按使用流量 带宽：100 Mbps 说明：（1）在您业务商用过程中，建议选用弹性公网 IP和共享带宽包、共享流量包的组合降低公网流量使 文档版本...
- 产品推荐
- 这些文档可能帮助您