MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案，将 MaxCompute与自建的Hive集群做数据打 通，通过存储共享，元数据镜像等方式，解 决传统模式下的存储冗余，计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性，解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性：现有业务无需改造。 2.性能优化：MaxCompute在SQL上做 了大量优化与能力沉淀，可提高SQL 运行性能，降低计算成本。 3.灵活管理：元数据实时同步，无需额外 管理数据同步任务。 4.资源弹性：利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute（原ODPS） 云企业网CEN
Apache Hive：Apache Hive是基于 Hadoop的一个数据仓库工具，可以将结构化 的数据文件映射为一张数据库表，并提供简单的 SQL查询功能，可以将 SQL语 句转换为 MapReduce任务进行运行。其优点是学习成本低，可以通过类 SQL语 句快速实现简单的 MapReduce统计，不必开发专门的 MapReduce应用，十分适 合数据仓库的统计分析。...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
文档版本：20201127 14 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 步骤11 保存代码，调试通过后，复制触发器地址，并确保更新游戏服配置文件里面的地址。步骤12 本次案例代码简单，没有涉及调用内部的其他云服务，比如 Kafka、RDS、NAS、OSS 等，在真实场景中，常常会涉及到内部服务间调用，通常需要进行函数配置。...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
步骤3 创建表：本示例为push_data步骤4 填入表push_data结构（参考code4），字段名称：raw，字段类型：string，保存 步骤5 提交到生产环境并确认步骤6 导入数据，下载源数据 gitclonehttps:/best-practice:Abcd123456@codeup.aliyun.com/best-practice/bp/176.git 下载push_354.zip到本地并解压，获取push_354.log文件。...
通过私网访问云服务
使用PrivateLink就可以通过私网访问其他VPC提供的服务，无需创建NAT网关或EIP等公网出口，更好的保障安全性和网络质量。支持同账号和跨账号的VPC间私网访问。另外 私网调用阿里云OpenAPI也有两种可选方案
pip install aliyun-python-sdk-core pip install aliyun-python-sdk-ecs 2.2.3.CLI安装 下载最新版本的 CLI工具 wget https://aliyuncli.alicdn.com/aliyun-cli-linux-latest-amd64.tgz 解压文件，获取到 aliyun 可执行文件 tar xzvf aliyun-cli-linux-latest-amd64.tgz 将可执行文件 aliyun 拷贝到/usr/local/bin/目录下...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
export JAVA_HOME=usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.el7_9.x86_64 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_H OME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin 文档版本：20220223（发布日期）35 基于 Flink的资讯场景实时数仓 基础环境部署 3.执行 source/etc/...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
问题定位及故障模拟 步骤4 如果在新建集群的时候没有安装日志组件（可以在组件管理里面查看和安装），详细可 以 参 考 以 下 文 档 进 行 安 装：https://help.aliyun.com/document_detail/87540.html?spm=a2c4g.11186623.6.750.2 65b85ccR3m2XH 步骤5 拷贝以下内容新建一个“ingresslog.yaml”文件。apiVersion:log....
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
该方案以图片处理的两类场景为例： 场景一：OSS中只存原图，用户在请求URL中带着期望对图片做何种处理的参数，请求 回来的图片是已经基于参数处理好的图片 场景二：OSS中只存某种格式的图片，实现无论用户请求时URL中是何种格式，都可以 正常返回图片 方案优势 不需要所有版本的图片都保存，只需要保存原图即可，可...
基于云速搭CADT快速构建药物筛选批量计算环境-serverless版
本方案基于云速搭 CADT提供一个快速构建云上Serverless版HPC批量计算环境的模板，针对生物制药领域的药物筛选场景，提供开箱即用的整套解决方案工具包，整个云上环境仅需1个小时即可完成自动化部署搭建。
产品列表 最佳实践频道 阿里云最佳实践分享群 弹性高性能计算 E-HPC Serverless版 文件存储 NAS 云速搭 CADT 容器镜像服务 ACR NAT网关 云服务器 ECS 钉钉扫描二维码或搜索钉群号 31852400入群 基于云速搭 CADT快速部署 药物筛选批量计算环境 Serverless版 文档版本：20240204（发布日期）基于云速搭 CADT部署药物筛选批量...
文件下载加速及成本优化
通过分布于全球的CDN节点来缓存源站的文件内容，并且调度用户请求到最近的CDN节点上快速下载所需文件，因此能够加快文件下载速度，提高网站性能。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台文件下载加速及成本优化方案介绍方案优势应用场景方案部署方案权益文件下载加速及成本优化方案使用阿里云CDN来加快源站内容的分发速度，通过分布于全球的CDN节点来缓存源站的文件内容，并且调度用户请求到最近的CDN节点上快速下载所需文件...
来自：
解决方案
低成本跨境文件传输
场景描述 1.跨境对象存储数据传输需求。 2.对跨境传输成本控制严苛。 3.能接受一定程度网络抖动带来的文件同步 延迟。 4.系统需要有足够的弹性和扩展性应对大规 模文件的写入。 方案优势/解决问题 1.运维低成本：开发人员关注代码逻辑即可； 2.网络成本低：相比CEN高速通道的方式网 络成本降低； 3.同步服务部署成本低：文件发生变化触发函 数计算任务，按量触发，不用准备ECS； 4.弹性高效：一个文件同步触发一个函数工作 流任务，充分利用资源高效同步。 产品列表 专用网络VPC 云服务器ECS 弹性公网IP 函数计算 对象存储OSS 函数工作流
文档版本：20211025（发布日期）15 低成本跨境文件传输最佳实践 配置实验环境 第 三 组 是 超 大 文 件。initMultipartUpload，uploadParts，completeMultipartUpload 函数负责处理超大文件。项目详细流程图和处理逻辑参考：https://github.com/awesome-fnf/oss-copy 步骤1 下载 oss-copy源码 cd/opt yum install-y git git...
云速搭部署 NAS 文件系统
本实践通过云速搭构建一个 NAS，并将 NAS 文件系统挂载到 ECS 的目录上。
云速搭部署 NAS文件系统 文档版本信息 云速搭 部署 NAS文件系统 最佳实践 文档版本：20211027（发布日期）云速搭部署 NAS文件系统 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 云速搭部署 NAS文件系统 文档编号 245 文档版本 V1.0 版本日期 2021-10-27 文档状态 对外发布 制作人 洁谦 文档变更记录 版本编号 ...
数据库文件存储DBFS
阿里云数据库文件存储DBFS基于共享存储架构，支持数据库定制和共享读写的线性扩展能力，提供低成本、高性能、高可用的存储服务，助力客户数据库业务无缝迁移上云。
快速了解数据库文件存储.数据库文件存储API手册.产品使用最佳实践.常见问题供查阅参考.查看全部日志.存储容量.性能.功能.生态.业务场景.min{1800+50*容量,1000000}.min{100+0.5*容量,4000}MBps.OLTP、OLAP、NoSQL等.min{1800+50*容量,8000000}.min{100+0.5*容量,32000}MBps.中大型OLTP、高性能OLAP、NoSQL等.通过原子写，...
来自：
云产品
VMware on 弹性裸金属
场景描述 传统企业将VMware迁移到阿里云弹性裸 金属，利用云计算平台提供的弹性基础设 施，降低部分运维成本和学习成本，使用其 擅长的技术工具专注自身业务，实现线下业 务平滑迁移上云。 解决问题 1.VMware业务平滑迁移上云 2.集成云产品能力增强业务创新 3.降低混合云成本和复杂度 4.增强系统可用性 产品列表 EBM神龙 ECS NAS OSS ENI NAT EIP
步骤3 将 vCenter ISO 文 件 下 载 拷 贝 到 windows 服 务 器。本 示 例 使 用 VMware-VIM-all-6.5.0-8307201.iso。文档版本：20191121 51 VMwareon弹性裸金属 安装和部署VMware 步骤4 双击vCenter安装文件。步骤5 双击autorun。步骤6 根据安装向导，完成VMwarevCenterServer的安装。1.在适用于Windows的vCenterServer页面...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
cd perseus-inference/ls cp-r resnet50_*/mnt/cd/mnt rm-rf/mnt/lost+found/ls 45 企业上云实践 基于弹性计算的 AI推理|部署飞天 AI加速推理工具的 demo 注意：这里镜像启动时，会在/mnt目录下找第一个文件夹下的model.config文 件，如果找不到容器无法启动。4.4.使用 arena 部署 model server 4.4.1.安装最新版本的 arena...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
43企业上云实践 基于超级计算集群的自然语言处理AI训练 一般，Tensorflow训练后的模型有两种保存方式，一种是checkpoint文件，一种是 pb文件。 checkpoint文件是结构与权重分离的三个文件，便于训练。–.meta文件是MetaGraphDef序列化的二进制文件，保存了网络结构相关的数 据，包括graph_def和saver_def等；–.index文件...
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构，本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群，集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩，资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
步骤5 SSL客户端证书创建成功，单击操作列下的下载，SSL客户端证书下载后保存为文件 certs.zip。文档版本：20200220 13 云端影视渲染 通过 VPN建立网络互联 2.5.本地 PC安装 OpenVPN客户端验证 VPN连接 步骤1 OpenVPN客户端下载地址：https://swupdate.openvpn.org/community/releases/openvpn-install-2.4.6-I602.exe 步骤...
企业用户多账号合并之存储迁移集中
场景描述 本文介绍使用在线迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求，统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问，数据统一需求。 3.系统架构及资源成本优化需求，多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
企业用户多账号合并之存储迁移集中 最佳实践 场景描述 部署架构 本文介绍使用数据迁移服务，将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。...可根据迁移报表内的详细迁移日志文件确认每个文件迁移状态，详细迁移日志保存在 目的地址 bucket下。文档版本：20220505 20
- 产品推荐
- 这些文档可能帮助您