自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
OSS 对象存储服务（Object Storage Service，OSS）是一种海量、安全、低成本、高 可靠的云存储服务，适合存放任意类型的文件。容量和处理能力弹性扩展，多种 存储类型供选择，全面优化存储成本。JindoFS JindoFS是一种云原生的文件系统，结合 OSS和本地存储，成为 E-MapReduce 产品的新一代存储系统，为上层计算提供了高效...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
详 见：https://www.aliyun.com/product/developerservices/cadt OSS 阿里云对象存储服务（Object Storage Service，简称 OSS）为您提供基于网 络的数据存取服务。使用 OSS，您可以通过网络随时存储和调用包括文本、图 片、音频和视频等在内的各种非结构化数据文件。ElasticSearch Elasticsearch是一个高度可扩展的开源全文...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
应用说明 本应用的源代码请参见如下链接：https://github.com/awesome-fc/fc-fnf-video-processing/tree/master/video-processing 3.2.1. 应用介绍 基于 Function Compute FC+函数工作流 FnF+对象存储 OSS+文件存储 NAS 文档版本：20201228（发布日期）16 Function Compute 实现弹性音视频处理系统 部署 Function Compute ...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
echo“this is version 2.0”>index.js git add index.js git commit-m“version 2.0”git push origin dev git tag-a v2.0-m‘2.0’git push origin v2.0 步骤5 检查 OSS文件。步骤6 根据版本号访问前端资源。访问方式：http://{CDN加速域名}/{代码仓库名}/{版本号}}/文件名 文档版本：20211008 16 Function Compute计算...
基于HBR云上统一备份
场景描述 混合云备份（简称HBR）是一种简单易用且高性价 比的在线备份服务，可以为阿里云ECS，NAS，OSS 以及自建机房内的各类数据提供安全，高效的保护。 本文介绍如何通过HBR对云上数据进行统一备份管 理。 解决问题 1.备份阿里云云上数据。 2.备份数据中心数据。 适用云资源 ECS文件系统 NAS文件 OSS文件 ECS上自建的MySQL、Oracle、SQLServer数据库 ESC上自建的SAPHANA数据库 产品列表 1.HBR备份服务 2.云服务器ECS 3.文件系统NAS 4.对象存储OSS 云上统一备份 云下统一备份 上云备份 备份上云
更多信息，请参见：https://www.aliyun.com/product/oss 文件存储 NAS：件存储 NAS是一个可共享访问，弹性扩展，高可靠，高性能的 分布式文件系统。兼容 POSIX 文件接口，可支持数千台计算节点共享访问，可 以挂载到弹性计算 ECS、神龙裸金属、容器服务 ACK、弹性容器 ECI、批量计 算 BCS、高性能计算 EHPC，AI训练 PAI等...
自建K8S迁移镜像、应用至阿里云ACK最佳实践
云原生技术K8S以其易管控，自动化操作，自修复等特点充分满足了企业的需求，越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代，自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力，所以上云成了一些企业的选择，将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理，企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK；本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
开通如下服务： 对象存储 OSS 云架构设计工具 CADT 容器服务 Kubernetes 版 ACK 容器镜像服务 ACR 2 文档版本：20200525 自建 K8S迁移镜像、应用至阿里云 ACK 测试资源准备 背景信息 在本章中，将以阿里云河源地域模拟线下 IDC，使用云架构设计工具 CADT快速创建 IDC的 K8S集群所需的基础资源。1.1.资源规划...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
快速进行 AI POC性能测试 产品列表 如二维码过期，GPU云服务器 请搜索群号：31852400 文件存储 NAS（CPFS）对象存储 OSS 专有网络 VPC 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 企业上云实践 FastGPU极速 AI训练/推理 最佳实践 文档版本：2021015 文档版本：20150122（发布日期）II FastGPU极速 ...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
异地灾备，构建数据库灾备中心 产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 云服务器 ECS 弹性公网 IP（EIP）负载均衡 SLB 云数据库 RDS MySQL 数据库备份服务 DBS 对象存储服务 OSS 数据湖分析服务 DLA 数据管理服务 DMS 数据传输服务 DTS 云速搭 CADT 文档模板（手册名称）/文档版本信息 Oracle数据库与...
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
阿里云账号下已开通以下阿里云服务：ￚ GPU云服务器 ￚ 文件存储服务 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone https://code.aliyun.com/best-practice/202.git 如果你是 windows 主机，请下载 windows 版本的 git：https://git- scm.com/download/win 遇到问题，请扫钉钉二维码...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
场景描述 企业 A开发了一款移动应用（App），并购买了对象存储（OSS）服务。App需要直连 OSS上传或下载数据，但是 App运行在用户自己的移动设备上，这些设备不受企业 A 的控制。企业 A有如下要求：1.直传数据：企业 A不希望所有 App都通过企业的服务端应用服务器（Application Server）来进行数据中转，而希望能够直连 OSS...
Serverless 应用引擎SAE
Serverless 应用引擎 SAE（Serverless App Engine）是一款零代码改造、极简易用、自适应弹性的应用全托管平台。SAE 让您免运维 IaaS和 K8s，秒级完成从源代码/代码包/ Docker 镜像部署任何语言的在线应用（如 Web /微服务 /Job任务）到 SAE，并自动伸缩实例按使用量计费，开箱即用日志、监控、负载均衡等配套能力。
同时提供面向应用的持久化存储方案，支持NAS、OSS网盘存储静态文件，增量更新站点。支持代码包部署，快速部署多站点到网站.Web应用防火墙 WAF.低门槛微服务架构转型，加速迭代效率.企业生产环境中，通过合理微服务拆分，将每个微服务应用打成WAR/JAR/Docker镜像存储在阿里云镜像仓库。您只需基于Spring Cloud/Dubbo开发规范...
来自：
云产品
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台，对接数十款产品的API，拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理，需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递，将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档，使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据，在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据，实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听，及时感知云上资源的增删改，洞察异常变更。
同时帮助您记录云上 IT资源的配置变更历史，允许您将全量资源配置和配置 历史文件持续收集到指定的存储空间。同时持续自动地评估云上资源配置的合规 性，实现云上 IT合规治理。详见：https://www.aliyun.com/product/config 日志服务（SLS）：日志服务（Log Service）提供基本的日志存储能力。同时日志 服务还一站式提供...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
作业上线最佳实践 新上线作业资源配置 新的 SQL 作业或者 DataStream 类型的作业在部署时，配置合适的资源和运行参 数是很常见的需求。尤其在算子拓扑复杂、开发人员不熟悉 flink 底层运行机制时，配置合适的资源和并发更加有挑战性。我们推荐使用 AutoPilot 来支持新上线作业的资源配置:1.作业开发完成后，直接上线运行...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
金融行业从经典网络向VPC容器化改造 ...https://help.aliyun.com/document_detail/102988.html RDS(数据库):https://help.aliyun.com/document_detail/26224.html OSS(对象存储):https://help.aliyun.com/document_detail/31948.html NAS(共享存储):https://help.aliyun.com/document_detail/62598.html CDN(内容分发网络):...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
文档版本：20201224 48 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤6 新建对象存储，用于未来 Blink集群相关资源的存储。文档版本：20201224 49 基于 Flink+ClickHouse构建实时游戏数据分析 实时流处理 步骤7 在实时计算开发平台，集群配置页面，选择刚创建的 OSS Bucket – game-server-blink-bucket。...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
从code.txt文件中，将/*startjoin_ads_sku_stat*/至/*end join_ads_sku_stat*/之间的内容拷贝到输入框：需要修改的参数说明：文档版本：20210803（发布日期）49阿里云最佳实践金融大数据WorkShop 最佳实践项目实践 表ads_sku_stat_sink：ￚ connector：结果表类型，这里写为holo ￚ dbname：Hologres实例建立的数据库...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
CREATETABLE`trade_age_d`(`age`BIGINT(20)NOTNULLCOMMENT'年龄',`sku_num`BIGINT(20)DEFAULTNULLCOMMENT'购买商品个数',文档版本：20210802（发布日期）77阿里云最佳实践金融大数据WorkShop 构建离线大数据分析系统 `order_count`BIGINT(20)DEFAULTNULLCOMMENT'订单个数',`order_amount`DECIMAL(16,2)DEFAULTNULLCOMMENT'...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造：由于历史原因，客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大，客户没有技术/时间去做改 造。 2.高性能：客户希望拥有比虚拟机更高的性能 和稳定性，以保障数据库高性能，支撑高并 发的业务系统； 3.高可用：在单机条件下，极端情况下数据库 发生宕机时，客户希望能快速拉起数据库服 务，减少停机时间； 4.数据安全性：极端情况下能找回数据。数据 备份和恢复更方便。
产品列表 最佳实践频道 阿里云最佳实践分享群 专有网络 VPC 弹性公网 IP 弹性裸金属服务器 块存储 云速搭 CADT 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 弹性裸金属（神龙）自建 ORACLE数据库最佳实践-单机 ESSD版 文档版本：20220207 文档版本：20150122（发布日期）II 神龙最佳实践：弹性裸...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
小型互联网迁移阿里云 最佳实践 业务架构图 场景描述 本方案主要适用于中小型互联网企业，从他云迁移到 阿里云，方案涉及网络规划、服务器、数据库、存储 数据、Kafka和镜像数据的迁移方案内容；同时在实 践环节，增加服务器和 RDS的迁移操作演练和验证。解决问题 提供服务器、数据库等关键环节的平滑迁移方案 提供云上高...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
弹性计算实例关键指标 关键指标 六代增强型 七代高主频 vcpu核心数 80vcpu 192vcpu 频率 2.5/3.2Ghz 3.3/3.8Ghz 最高网络 25G*2 50G*2 最高 PPS能力 2400 万 PPS 2400万 PPS 高效云盘 云盘规格 SSD云盘 ESSD云盘 ESSD云盘 最高存储 IO 48 万 IOPS 60万 IOPS 最大并 Session数(万）200 400 MTU（最大传输单元）1500 8600 ...
- 产品推荐
- 这些文档可能帮助您