自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
付费模式：按使用流量 带宽：100 Mbps 说明：（1）在您业务商用过程中，建议选用弹性公网 IP和共享带宽包、共享流量包的组合降低公网流量使 文档版本：20210721 6 自建Hive数据仓库跨版本迁移到阿里云 EMR 基础环境搭建 用成本；（2）在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载，在环境搭建完 成...
企业办公安全访问一体化
本场景模拟企业办公环境，基于 CSAS 服务构 建企业办公安全一体化方案，将“安全 + 网络” 能力无缝融合，实现了对云下办公终端安全的统 一管理，企业无需在投资复杂且昂贵的传统硬件 安全设备，即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
应用范围 通用行业，具有集团/分支机构的企业客户。名词解释 专有网络VPC：VirtualPrivateCloud，简称VPC，是基于阿里云创建的自定义私 有网络，不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例，比如ECS、负载均衡、RDS等。在部署云资源前，您需要 结合具体业务，规划VPC和交换机...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
付费模式：按使用流量 带宽：100 Mbps 文档版本：20210714 5 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 说明：（1）在您业务商用过程中，建议选用弹性公网 IP和共享带宽包、共享流量包的组合降低公网流量使 用成本；（2）在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载，在环境搭建完 ...
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高，核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题：单表记录不断增多，数据检索速度会变慢，尤其是对中文的模糊查询（建立普通索引完全不起作用）。虽然数据库自身在不断完善，但效果有限且没办法灵活扩展，复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库，数据集成产品提供Binlog实时订阅，实时解析、增量数据实时更新及二级索引库之间进行数据实时同步，为数据库提供“能力增益”， 不仅能从根本解决主库抗压问题，提升稳定性；同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
配置项 说明 付费模式 按量付费 选择服务 阿里云 Elasticsearch 通用商业版 7.10 场景初始化配置 通用场景 配置完成，单击下一步：集群配置。文档版本：20210517 17 基于 Elasticsearch的订单检索加速最佳实践 配置大数据组件 步骤4 在集群配置页面，完成以下配置，并单击下一步：网络与系统配置。配置项 说明 地域和可用 ...
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求（政策上云），另一方面出于对降低单实例部署成本（CPU 超分超配）以及满足更严格合规和监管要求的考虑，希望能对云上资源有更多的自主控制权（监管合规）。从业务系统架构云上部署的角度，基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案，可以很好地满足这两方面的需求。 解决问题： 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本（TCO） 方案优势： 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离，可以独占资源，可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规：在完备的隔离基础之上，开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时，若您不指定专有宿主机，系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时，提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ，可以降低单 ECS实例以及云数据库实例的部署成本。
多台云服务器进行流量分发的负载均衡 服务，可以通过流量分发扩展应用系统对外的服务能力，通过消除单点故障提升 应用系统的可用性。EIP：弹性公网 IP（Elastic IP Address），简称 EIP，是一种 NAT IP。它实际位于 阿里云的公网网关上，通过 NAT方式映射到了被绑定的云资源上。和云资源绑定 后，云资源可以通过 EIP与公网...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
付费模式：按使用流量 带宽：100 Mbps 说明：（1）在您业务商用过程中，建议选用弹性公网 IP和共 享带宽包、共享流量包的组合降低公网流量使用成本；（2）在环境搭建过程中分配公网 IP地址仅用于 SSH登录和必要 的软件包下载，在环境搭建完成之后，建议释放部分公网 IP 地址。安全组 名称：security_group_sh 协议类型：TCP...
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例，演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道，介绍如何通过快照 的方式，将ElasticSearch索引数据安全备份到 阿里云OSS存储空间，以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例，进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC，ECS，VPN网关，OSS，阿里云ElasticSearch，云速搭CADT
付费模式：按使用流量 带宽：100 Mbps 说明：（1）在您业务商用过程中，建议选用弹性公网 IP和共享带宽包、共享流量包的组合降低公网流量使 用成本；（2）在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载，在环境搭建完 成之后，建议释放部分公网 IP地址。安全组 使用默认安全组，并勾选 80，443，22，...
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景，使用神龙 GPU云服务器（SCCGN6）+CPFS进行NLP的 训练，采用Bert模型。这里不使用容器，直接 使用裸机进行NLP的Bert训练，使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器（SCCGN6） SCC超级计算集群 CPFS共享存储
AIACC针对阿里云环境进行了深度优化，核心代码是多框架共享的，各框架的支 持均包含以下功能： 梯度融合通信的自适应多流，自适应梯度融合，对带宽密集的网络模型，性 能提升显著（提升50%至300%）。 高度优化的梯度协商机制，将大规模节点下梯度协商的开销降低一到两个数 量级。 分级的Allreduce，同时支持FP16的...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
说明：为便于演示，本实践只创建两个 worker节点，在实际生产环境中，要根据实际 资源使用量，再加上冗余量来决定 worker节点数量。文档版本：20220121 26 基于 K8S多集群隔离环境下的 DevOps实现 创建生产环境下的 K8S集群 步骤5 组件配置，可以按照默认配置，本示例中为了简化操作，不使用日志服务。文档版本：20220121 ...
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中，自建 Kubernetes服务，线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具，并采用阿里云CPFS存储，运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC， 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
类别 配置项 说明 基础配置 计费方式 按量付费 地域 华东 2（上海）可用区 G 实例 架构：x86计算 分类：通用型 19 混合云使用飞天AI加速工具 创建 ECS实例 规格：通用型 g6 ecs.g6.large(2 vCPU,8 GiB)购买实例数量：1 台 镜像 公共镜像 CentOS 7.6 64位 存储 系统盘 高效云盘 120 GiB 说明：建议系统盘至少 120GB。...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
配置项 说明 计费方式 按量付费 地域 华南 1（杭州）类型 MySQL 5.6 系列 高可用版 存储类型 本地 SSD盘（推荐）可用区 多可用区（可用区 D+可用区 E）实例规格 2 CPU(核)，4GB(通用型)rds.mysql.s2.large（2核 4GB）存储空间 50GB 配置完成，单击下一步：网络和资源组。文档版本：20191217 23 互联网业务全球化互通组网...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
参数 etworkTyp VPC 经典网咯或VPC e dBInstanc 数据库容量 20 eStorage securityIP RDS实例白名单 192.168.0.0/16 List rdsPayTyp RDS付费类型:Postpaid e Postpaid：后付费（按 文档版本：20191122 42 弹性计算OOS审批流程自动化运维 使用OOS部署及配置系统 量付费）Prepaid：预付费（包 年包月）负载均衡实例的网络 类型...
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组（APG）搭建spark计算集 群，提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本：跨售卖方式提供计算实 例，按秒计费，可全部使用spot实例 交付，最高可省90%成本。 2.稳定可靠：跨可用域、跨实例规格， 降低spot被集体释放的风险；自动托 管，分钟级巡检，动态保证集群的算 力。 3.快速交付：单次可在5分钟内交付 2000个实例。 4.多策略组合：可分别指定spot和按量 实例的交付策略，以及差额补足的策 略，包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一，无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张，无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
集群计算能力规划 基于降成本的需要，您可以使用弹性供应组同时开出抢占式实例和按量付费实例，通 过搭配使用两种计费方式，保证满足最低计算力，同时降低获得更高计算力时的成本。供应组内实例可全部使用 spot实例交付，最高可省 90%成本。在搭建 spark集群前，预估计算容量，例如：类别 CPU core 总算力 48 core 按量计费...
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多，如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系，使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源，更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
计费模式：按使用流量 公网带宽：5Mbps 安全组 选择默认安全组。配置完成，单击下一步：系统配置。文档版本：2021-07-12 24 资源管理 资源目录 步骤5 在系统配置页面，参考下表示例说明，配置相关参数。配置项 说明 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明：记录下设置的登录密码，后续登录要用到。确认...
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例，将业务数据和日志数据使用 MaxCompute做ETL之后，同步到ADB进行实时 分析，之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
40G EIP配置：配置项 说明 EIP名称 eip-bp106 商品类型 按量付费 线路类型 BGP（多线）网络类型 公网 流量 按流量计费 带宽峰值 10Mbps RDS配置：配置项 说明 实例名 rds-bp106 支付方式 按量付费 类型 MySQL 版本 5.7 系列 基础版 存储类型 SSD云盘 部署方案 单可用区部署 实例规格 mysql.n2.large.1(4C 8GB（通用型）)...
Openstack迁移DDH
场景描述 在线下IDC中，很多用户使用OpenStack构建云环境，本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机（DDH）上，从而实现业务平滑 上云的同时，显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
公网IP 勾选分配公网IPv4地址 带宽计费模式 按使用流量 带宽峰值 5Mbps 安全组 默认安全组，确认放行22端口、3389端口和ICMP协议。配置完成，单击下一步：系统配置。系统配置。配置项 说明 登录凭证 使用镜像预设密码 实例名称 自定义，本实践设置为“cirros001”。主机名 自定义，本实践设置为“cirros001”。配置完成，...
智能应对流量变化，容器化集群的弹性攻略
本方案使用ALB和ACK智能分配网络流量，提高应用的高可用性和吞吐量，使用Kubernetes的cluster-autoscaler社区开源组件以及HPA内置组件进行弹性伸缩，提升资源利用率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台容器化集群的弹性攻略容器化应用的弹性伸缩方案介绍方案优势方案部署方案权益智能应对流量变化，容器化集群的弹性攻略本方案使用应用型负载均衡（ALB）和容器服务 Kubernetes 版（ACK）智能分配网络流量，提高应用的高可用性和吞吐量，使用...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您