- 相关产品：
- 基因组学公共数据集解决方案 全球应用加速解决方案 AI养猪解决方案
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
混合云使用飞天 AI加速工具 最佳实践 场景描述 部署架构 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云 GPU服务实例+飞天 AI加速工 具，并采用阿里云 CPFS存储，运行 AI训 练+AI推理作业的操作步骤。解决问题 1.利用云企业网打通两个地域的 VPC，自建 Kubernetes集群 阿里云最佳实践分享群 ...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
配置root用户的ssh无密码访问[root@scc001~]#ssh-keygen-trsa Generatingpublic/privatersakeypair.Enterfileinwhichtosavethekey(/root/.ssh/id_rsa):Enterpassphrase(emptyfornopassphrase):Entersamepassphraseagain:/root/.ssh/id_rsa.Yourpublickeyhasbeensavedin/root/.ssh/id_rsa.pub.Thekeyfingerprintis:SHA256:ic...
VMware迁移DDH
场景描述 介绍本地部署或托管在IDC环境的VMware系统迁移 上云至独立宿主机（DDH）的最佳实践。使用DDH在 云端构建由独享物理服务器组成的资源池，同时配合 ECS成熟稳定的虚拟化技术体系，充分利用云上资源 弹性、按使用付费的优势，快速构建高性能、高可靠 和可快速动态伸缩的虚拟化系统，满足安全、合规、 自定义部署、自带许可证（BYOL）等企业级需求。 解决问题 l云端独享高性能、高可靠、高弹性的物理服务器资源池。 l基于成熟云原生虚拟化技术体系，支持ECS自定义部 署，可在DDH环境和多租户环境间迁移。 l支持自带许可证（BYOL）。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS l对象存储OSS l专有宿主机DDH l资源编排ROS
文档版本：20200218 32 企业上云实践 VMware 迁移 DDH|自定义镜像导入 使用 SSH客户端登录此 ECS 实例，安装 qemu-img 工具。1.yum-y install qemu-img 文档版本：20200218 33 企业上云实践 VMware 迁移 DDH|自定义镜像导入 2.8.镜像格式转换 首先下载安装 ossutil 工具。1.wget ...
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据，AK是软件程序访问阿里云资源的凭据。 如果AK被泄露，那么会造成非常严重的后果， 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿，等等。采用合适的方式来使用、 保护AK，是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
安装 SDK环境 步骤1 通过 SSH 远程连接开发环境 ECS。步骤2 升级 pip工具到最新版本。pip install-upgrade pip 步骤3 安装阿里云 SDK 核心库。pip install aliyun-python-sdk-core 步骤4 安装 STS SDK。pip install aliyun-python-sdk-sts 步骤5 安装 OSS SDK。pip install oss2 4.4.2.获取 sts token并使用 步骤1 下载 ecs...
基因计算工作流
场景描述 适合利用容器服务Kubernetes版上的工作流 引擎进行大规模基因测序的场景。阿里云工作流 引擎基于开源项目Argo实现，支持并发、循环、 重试等多种执行策略。典型的基因计算过程会把 数据分批进行计算，按照规定好的步骤依次完成 计算，这符合工作流的特点：多层次，有向无环 图。 解决问题 1.基因计算如何构建工作流 2.容器服务Kubernetes版结合 共享文件存储NAS提供数据 服务 3.构建单POD工作流 产品列表 容器服务Kubernetes版 文件存储NAS
ssh root@$masterip 步骤3 执行如下命令，下载 AGS工具并配置运行权限。wget http://ags-hub.oss-cn-hangzhou.aliyuncs.com/ags-linux && chmod +x ags-linux && mv ags-linux /usr/local/bin/ags 4.5.2. 初始化 ags配置 执行以下命令，并配置如图所示信息：ags config init 4.5.3.重新部署工作流资源 步骤1 卸载 ags工作流...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
它提供了网络上的身份验证和强大的加密工 具，可帮助您保护整个企业中的信息系统。MIT提供了一个免费的 Kerberos实现。详情请查看 web.mit.edu/kerberos Apache Ranger：Apache Ranger™是一个框架，用于在整个 Hadoop平台上启 用，监视和管理全面的数据安全性。Ranger的愿景是在 Apache Hadoop生态系 统中提供全面的安全性...
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中，这里运行的是LAMMPS这款开 源的仿真软件，数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
NAS：阿里云文件存储（Network Attached Storage，简称 NAS）是面向阿里云 ECS 实 例、HPC 和 Docker 等计算节点的文件存储服务，提供标准的文件访问协议，您无需对 现有应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可 靠和高可用等特性的分布式文件系统。OSS：阿里云对象存储服务（Object ...
自建Hive数据仓库跨版本迁移到阿里云Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统，购买阿里云Databricks数据洞察集群之后，涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维，节省人力成本。 2. Databricks数据洞察与阿里云其他产品（OSS、RDS、MaxCompute、EMR）进行深度整合，支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys 文档版本：20210425 8 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 基础环境搭建 ssh slave1"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave2"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave3"cat/root/.ssh/id_...
湖仓一体架构EMR元数据迁移DLF
通过EMR+DLF数据湖方案，可以为企业提供数据湖内的统一的元数据管理，统一的权限管理，支持多源数据入湖以及一站式数据探索的能力。本方案支持已有EMR集群元数据库使用RDS或内置MySQL数据库迁移DLF，通过统一的元数据管理，多种数据源入湖，搭建高效的数据湖解决方案。
hdfs dfs-put/migrator_config_validate.yml/user/hadoop/步骤4 SSH到 EMR集群，通过 spark-submit命令提交运行校验任务（需要指定实际的校验 工具包和配置文件的路径）。命令参考：spark-submit \-master yarn \-deploy-mode client \-driver-memory 2G \-executor-memory 2G \-executor-cores 4 \-num-executors 3 \-conf...
轻量应用服务器
轻量应用服务器 （Simple Application Server）是可快速搭建且易于管理的轻量级云服务器。精选定制应用镜像，提供基于单台服务器的应用部署，安全管理，运维监控等服务，一站式提升您的服务器使用体验和效率。
提供基于单台服务器的应用部署，安全管理，运维监控等服务，一站式提升您的服务器使用体验和效率。969/年 起.1核CPU 1GB内存.3Mbps 峰值带宽.500GB 流量包.￥1479/年.1核CPU 2GB内存.5Mbps 峰值带宽.1000GB 流量包.￥2652/年.2核CPU 4GB内存.8Mbps 峰值带宽.1500GB 流量包.￥3672/年.2核CPU 8GB内存.10Mbps 峰值带宽.2000GB...
来自：
云产品
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
sshroot@47.94.156.145 文档版本：20210802（发布日期）22阿里云最佳实践金融大数据WorkShop 构建业务数据库 步骤二：下载数据库dump文件 步骤1 安装git工具。yum-yinstall git 步骤2 下载git库文件。git clone https://code.aliyun.com/best-practice/bigdat a.git 步骤3 进入下载目录，找到shop.sql文件，此文件是模拟...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
cat/root/.ssh/id_rsa.pub>>/root/.ssh/authorized_keys ssh slave1"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave2"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys ssh slave3"cat/root/.ssh/id_rsa.pub">>/root/.ssh/authorized_keys 3.查看 master节点生产的文件。cat/root/.ssh/...
Function Compute搭建前端CICD系统
场景描述 传统动静不分离的产品架构，随着访问量在增 长，性能会成为瓶颈。在这种情况下，用户可以 通过利用OSS和CDN对网站进行架构优化， 做到网站文件的动静分离，提升用户访问体验， 实现成本可控。本方案使用函数计算监听前端代 码库提交的分支变更，上传分支文件至OSS，通 过CDN进行前端资源加速。 方案优势 1.面向serverless：无需购买服务器 2.免运维：无需部署配置Jenkins 3.提供日志查询、性能监控和报警等功能 4.一站式：事件驱动方式触发响应 5.费用极低：按需付费 产品列表 专有网络VPC 对象存储OSS 日志服务SLS 函数计算 CDN
环境搭建 本章节将通过使用云速搭工具对演示环境进行快速的部署。1.1.CADT架构搭建 步骤1 登录 CADT控制台（https://bpstudio.console.aliyun.com/），打开官方模板库：步骤2 输入“函数计算搭建前端 CICD”，找到对应的最佳实践，单击基于方案新建。步骤3 双击架构图中的 OSS bucket图标，修改 bucket名称，本实践以 ...
函数计算实现弹性音视频处理系统
场景描述 本示例通过函数计算部署一个高弹性高可用的 音视频处理系统。尤其适合视频网站使用，每天 有大量的上传视频，需要及时转码处理以适配各 种终端及网络条件，要求短时间内准备大量的计 算资源进行大规模并行转码处理，同时希望基于 FFmpeg自建的转码服务能简单迁移。 解决问题 1.如何使用函数计算部署音视频处理系统。 2.如何进行系统的压测。 产品列表 函数计算服务 文件存储NAS 对象存储OSS 函数工作流FnF 日志服务SLS
带宽计费模式：按使用流量 带宽峰值：5Mbps 安全组 选择默认安全组，确认勾选开放了 22端口、3389端口和 ICMP协议。步骤6 在系统配置页面，完成以下配置，并单击确认订单。文档版本：20201228（发布日期）31 Function Compute 实现弹性音视频处理系统 应用测试 配置项 说明 登录凭证 自定义密码 登录名 root 登录密码 按...
FastGPU极速AI训练/推理
利用 FastGPU工具一键构建阿里云上的AI训练/推理环境，并使用AIACC加速工具进行加速。
FastGPU极速 AI训练/推理 最佳实践 架构图 场景描述 利用 FastGPU工具一键构建阿里云上的 AI 训练/推理环境，并使用 AIACC加速工具进 行加速。目前，FastGPU提供了三个 demo，分别是 GTC-demo，Pytorch 手势识别训练 InsightFace，Mxnet 人脸识别训练 Bert模型，Tensorflow语音识别训练 解决问题 1.快速构建 AI训练推理环境...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
底层数据迁移 保存在 HDFS的数据可通过 Hadoop原生的 DistCp工具进行迁移，详细迁移方案 请参考：《自建 Hadoop数据迁移到阿里云 EMR》最佳实践（https://www.aliyun.com/acts/best-practice/preview?id=162538）Hive元数据库迁移 Hive元数据信息通常保存在客户自建的 MySQL数据库中，可通过 mysqldump工 具将数据库进行...
SpringCloud应用托管到ACK服务
场景描述 本实践适用于将SpringCloud应用托管到 ACK服务的场景中，创建容器服务ACK后， 利用Helm一键部署SpringCloud应用，将 SpringCloud应用托管到容器服务ACK。 解决问题 1.将SpringCloud应用托管到容器服务 ACK 产品列表 容器服务ACK 云服务器ECS
容器服务 Kubernetes 版简化 集群的搭建和扩容等工作，整合阿里云虚拟化、存储、网络和安全能力，打造云端最 佳的 Kubernetes 容器化应用运行环境。详见 https://cn.aliyun.com/product/kubernetes •云速搭：是一款为上云应用提供自助式云架构管理的产品，显著地降低应用云上管理 的难度和时间成本。本产品提供丰富的预制...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
创建容器镜像服务 本方案使用阿里云容器镜像服务（ACR）来保存通过 jenkins构建的容器镜像，相对于 传统容器仓库 harbor、docker registry，ACR在易用性、安全性上更具优势。1.1.创建命名空间 步骤1 登录阿里云容器镜像服务控制台（https://cr.console.aliyun.com）。步骤2 在左侧导航栏选择命名空间，并单击右上角的创建...
- 产品推荐
- 这些文档可能帮助您