自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
V1.5 2020-03-30 青俞、弦望 云魁 Distcp传输方案 更新部分失效链接和命令，使 V1.6 2021-07-14 游士 用云速搭 CADT创建初始云 资源 联系我们 如果您在使用本最佳实践时遇到问题，欢迎通过钉钉扫描下面的二维码获取文档方案 负责人的进一步帮助：文档版本：20200330 I 自建Hadoop数据迁移到阿里云 EMR 前言 前言 概述 客户...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
ￚ 文件存储 CPFS服务 ￚ 文件存储 NAS服务 ￚ GPU云服务器 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone https://code.aliyun.com/best-practice/099.git 如果你是 windows主机，请下载 windows版本的 git：https://git-scm.com/download/win 遇到问题，请扫钉钉二维码联系作者获取...
混合云灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像，可以为云上或云下的VMware环境提供有效 的数据保护，保证数据快速、安全、高效地备份到云 上，并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
搭建VPC时，您需要考虑选取哪一个阿里云地域作为容灾中心，数据中心与阿里云 VPC之间使用哪一种网络连接，以及VPC使用哪个网段。本节使用华东1（杭州）地域作为演示环境。阿里云地域的选择 阿里云的所有数据中心都拥有极为强大的基础设施。您只需根据实际情况，如物理距 离要求（例如业务部门可能要求容灾中心距离主数据...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
如果你是windows主机，请下载windows版本的git：https://git-scm.com/download/win 遇到问题，请扫钉钉二维码联系作者获取支持。3企业上云实践 基于超级计算集群的自然语言处理AI训练 1.创建专有网络VPC 步骤1 登录阿里云控制台。步骤2 通过产品与服务导航，定位到专有网络VPC，单击进入专有网络控制台。步骤3 在专有...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
步骤2 Tasks中添加审批的任务，需要修改的地方有：钉钉服务地址中的accessToken、钉 钉通知内容、审批人的钉钉手机号码。文档版本：20191122 9 弹性计算OOS审批流程自动化运维 配置钉钉 2.配置钉钉 2.1.钉钉简介 本方案需要使用钉钉机器人作为消息通知工具，钉钉的下载和使用可以参考以下链接。 员工使用手册：...
应用身份服务IDaaS
IDaaS是阿里云为企业用户提供的一套集中式身份、权限、应用管理服务，支持一个账号打通所有业务应用，统一控制多因子身份认证，集中管理的应用访问权限控制，集中透明的用户访问日志审计，助力企业解决单点登录问题，是5A统一身份认证管理系统。使用场景分为CIAM和EIAM，是国内第一家提供完整公有云、私有化 CIAM 解决方案的服务提供方。
提供一系列预集成应用模板，且会随版本和需求逐步累积，为客户常用应用提供极简的、精心设计的对接体验.联通企业通讯录.与钉钉、AD、企业微信、飞书等企业账户体系打通，支持批量和增量导入/导出，打通企业的身份孤岛.统一账户管理.提供唯一的用户身份，以及完整的账户生命周期管理。在控制台中，可完成员工账户入职全过程....
来自：
云产品
大数据系统基准性能测试最佳实践
本方案适用于在阿里云上进行大数据基准性能测试的场景，包括 Teragen和Terasort测试，TestDFSIO测试。本文采用CADT工具结合阿里云的E-MapReduce服务快速构建测试集群，并提供了Teragen和Terasort测试，TestDFSIO测试的测试脚本，便于迅速开展测试。
阿里云账号下已开通以下阿里云服务：ￚ GPU云服务器 ￚ 文件存储服务 下载本文用到的操作命令和代码：以 CentOS主机为例：#yum-y install git#git clone https://code.aliyun.com/best-practice/202.git 如果你是 windows 主机，请下载 windows 版本的 git：https://git- scm.com/download/win 遇到问题，请扫钉钉二维码...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 企业办公安全一体化 文档编号 196 文档版本 V1.1 版本日期 2021-01-29 文档状态 外部发布 制作人 期会 审阅人 游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-01-29 期会、金文磊 梅杰、天裵 创建 文档版本：20210129 I企业办公安全一体化最佳实践 ...
云上成本优化workshop
某金融科技公司，它主要提供信贷，理财，电商等 服务，目前已经拥有千万级注册用户。该公司在将 在线业务系统和大数据业务从自建 IDC 机房迁移 到阿里云后，今年大数据集群经历过多次因为资 源不足导致弹性扩容失败的故障，运维负责人非 常苦恼。由于该公司从事互联网金融的借贷业务， 白天的催收非常依赖晚上大数据计算的结果，若 因为资源不足导致计算结果失败则意味着白天催 收业务员无事可做，会对公司业务造成严重影响。 后来，通过阿里云解决方案架构师建议的方案，将 大数据集群迁移到资源较充足的可用区以及配置 弹性伸缩多规格 ECS 选型增加交付成功率等方 法，目前已阶段性的解决因资源不足导致弹性扩 容失败的问题，但该方案在 Spot 计算资源不足 时，启用大量按量收费算力，带来了较高的成本， 并且抢占式实例和按量付费实例都不保证资源 100%交付，还是存在交付失败的可能性，特别是 在双 11 期间由于其他客户的资源需求上升带来 的资源挤兑客观上存在，就进一步增加了弹性扩 容失败的风险，从而影响业务正常运行。
在本案例里，采用 serverless版本的 Kubernetes来模拟业务应用的运行平台，这种 类型的托管服务，无需创建和管理 K8s里面的 Master和 worker，其底层基于 ECI容 器实例，按容器实例的使用资源量和时长（秒）计费 ASK的主要有以下几点优势：降低用户 kubernetes的门槛，无需管理 Node节点 无需考虑节点的容量规划 以 Pod为...
来自：
最佳实践
相关产品：云服务器ECS,负载均衡 SLB,弹性公网IP,容器服务 ACK,日志服务（SLS）,NAT网关,函数计算,E-MapReduce,云数据库PolarDB,弹性容器实例 ECI,存储容量单位包,预留实例券,Hologres
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
2021-07-12 2 资源管理 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 资源管理最佳实践 文档编号 113 文档版本 V2.2 版本日期 2021-07-12 文档状态-制作人 天裵 审阅人-文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-10-24 毕役-创建 V1.1 2019-11-10 毕役-初稿完成 V1.2 2019-11-12 毕役 南园 修改...
- 产品推荐
- 这些文档可能帮助您