自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
网络和交换机(架构图左:华东 2上海)类别 配置项 说明 专有网络 名称 客户 IDC-VPC IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vswitch-az-g 可用区 上海 可用区 G(可根据库存选其他可用区)IPv4网段 192.168.100.0/24 ECS实例 类别 配置项 说明 基础配置 ECS名 ecs-hadoop 支付方式 后付费 地域 华东 2(上海)可用...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
云速搭快速部署CEN-TR最佳实践
云速搭快速部署CEN-TR最佳实践
本实践通过云速搭设计一个 CEN-TR 方案,创建 VPC、VSwitch、CEN、带宽包、企业版 TR和路由表等资源。
详见:https://www.aliyun.com/product/vpc 云企业网(Cloud Enterprise Network,简称 CEN)是阿里云提供的一款能够快速 构建混合云和分布式业务系统的全球网络服务,为用户提供优质、高效、稳定的 传输环境,帮助用户打造一张具有企业级规模和通信能力的云上网络。适用于 集团企业、全球网络等场景。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云企业网,云速搭CADT
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
内网访问外 EIP(1M,按带宽计费)业务系统 操作系统 CentOS 7.6 64位-软件程序 WordPress 硬件配置:存储 40G 高效云盘(系统盘)安全组 sg-bptest 初始 root用户密码*网络 BP-VPC(MyBase-VSW)可用区/数量/实例 建议实例名和主机名一致,便于管 H/1/bp-test-1,2 名(主机名)理 自定义镜像 bptest-image-可用区 杭州,可用...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
企业办公安全访问一体化
企业办公安全访问一体化
本场景模拟企业办公环境,基于 CSAS 服务构 建企业办公安全一体化方案,将“安全 + 网络” 能力无缝融合,实现了对云下办公终端安全的统 一管理,企业无需在投资复杂且昂贵的传统硬件 安全设备,即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
企业办公安全访问一体化...为了演示方便,本场 景中我们选择购物、社交、电子商务分类,可用于禁止办公电脑访问购物、社交类 。说明:本文中为了便于演示,统一使用LDAP的账户名称作为策略条件,此外还支持 部门、邮箱、手机号等属性作为策略条件,实际环境中可以灵活使用。打开CSAS控制台,为互联网访问创建URL防护策略。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云安全访问服务
EMR HBase on OSS存算分离集群快速恢复
EMR HBase on OSS存算分离集群快速恢复
OSS-HDFS服务(JindoFS服务)是一款云原生数据湖存储产品。基于统一的元数据管理能力,在完全兼容HDFS文件系统接口的同时,提供充分的POSIX能力支持,能更好地满足大数据和AI等领域的数据湖计算场景。
专有网络由逻辑网络设备(如虚拟路由器,虚拟交 换机)组成,可以通过专线/VPN等连接方式与传统数据中心组成一个按需定制的 网络环境,实现应用的平滑迁移上云。详见:https://www.aliyun.com/product/vpc OSS-HDFS 服务:是一款云原生数据湖存储产品。基于统一的元数据管理能力,在完全兼容 HDFS文件系统接口的同时,提供...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,E-MapReduce,云速搭CADT
E-HPC低成本实现量化策略回测
E-HPC低成本实现量化策略回测
在量化交易场景下,量化策略的构建流程一般包括:想法、数据获取、建模、回测、结果分析等,在回测过程中往往需要海量的算力,进行大量数据的分析和处理,如何快速、高效和低成本的进行批量任务的调度,并快速获取结果是量化领域遇到的普遍挑战,这也是云计算能够带给客户的巨大优势。
云监控涵盖 IT 设施基础监控和外网网络质量拨测监控,是基于事件、自定义指标和日志的业务监控,为您全方位提供更高效、全面、省钱的监控服务。使用云监控,不但可以帮助您提升 系统服务可用时长,还可以降低企业 IT运维监控成本。云监控通过提供跨云服务和跨地域的应用分组管理模型和报警模板,帮助您快速构建 支持几十种...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,弹性公网IP,文件存储NAS,弹性高性能计算E-HPC,云速搭
S级游戏多地域批量开服
S级游戏多地域批量开服
本实践将利用多地域模板创建应用,基于模板传参的方式,实现游戏全球多地域开服,并在这个过程中,详细介绍云管平台对接过程中所使用到CADT API以及使用方式。
文档版本:20220628 8 S级游戏多地域批量开服 构建 CADT模板 步骤6 重复步骤 5,可以将该应用保存为多地域模板(e.g:杭州、上海)步骤7 通过新建>我的模板库新建进入我的模板库,编辑刚才保存的模板。文档版本:20220628 9 S级游戏多地域批量开服 构建 CADT模板 步骤8 双击 eip实例,点击属性边上的”fx”图标,对数量参数...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
云速搭部署混合云备份HBR
云速搭部署混合云备份HBR
本实践以ECS文件备份为例,通过CADT设计备份架构,一键部署演示环境。
购买方式:新购 实例名称:ecs-bj-01 数量:1 支付方式:按量付费 实例规格:ecs.n1.tiny(1c 1g)镜像:Alibaba Cloud Linux 镜像版本:Alibaba Cloud Linux 2.1903 LTS 64位 系统盘类型:高效云盘 登录凭证:稍后创建 文档版本:20211023 11 云速搭部署混合云备份HBR CADT部署混合云备份HBR 步骤12 单击 hbr,设置混合云...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,混合云备份,云速搭CADT
云速搭部署MongoDB应用
云速搭部署MongoDB应用
通过云速搭实现一个云数据库MongoDB版的产品实例
配置项 参数说明 实例名 mongodb-test 支付方式 按量付费 数据库版本 4.2 存储引擎 WiredTiger 只读节点 无只读节点 节点数 三节点 实例规格 dds.mongo.2xlarge 存储空间 20(G)支付方式 按量付费 设置密码(大写、小写、数字、特殊字符占三种,长度为 8-32位)文档版本:20211206 9 云速搭部署MongoDB应用 CADT设计部署...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库 MongoDB版
混合云自有K8S弹性使用ECI
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
云企业可帮助您在不同地域 VPC 间,VPC与本地数据中心间搭建私通信通道,通过自动路由分发及学习,提高 网络的快速收敛和跨网络通信的质量和安全性,实现全网资源的互通,帮助您打 造一张具有企业级规模和通信能力的互联网络。详见:https://www.aliyun.com/product/cbn 访问控制 RAM:是阿里云提供的管理用户身份与...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
云服务器基准性能测试
云服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
云监控涵 盖 IT设施基础监控和外网网络质量拨测监控,是基于事件、自定义指标和日志 的业务监控,为您全方位提供更高效、全面、省钱的监控服务。使用云监控,不 但可以帮助您提升系统服务可用时长,还可以降低企业 IT运维监控成本。云监控服务可用于收集阿里云资源或用户自定义的监控指标,探测服务可用性,以及针对指标...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,云速搭CADT
CLB监听端口自转发
私<em>网</em>CLB监听端口自转发
通过云速搭实现一个 EIP-CLB->ECS 的简单架构,实现其中 CLB 前端在监听到http 80 端口的请求时,基于一个配置的自转发规则会把请求转发到自己监听的 https 443端口,以确保请求拥有可信的证书,然后转发给后端的 80 或其他端口,后端应用则无需校验证书就能确定收到的请求是可信的。
CLB监听端口自转发 文档版本信息 云速搭 私 CLB监听端口自转发 最佳实践 文档版本:20211112(发布日期)私CLB监听端口自转发 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 私 CLB监听端口自转发 文档编号 270 文档版本 V1.0 版本日期 2021-11-12 文档状态 对外发布 制作人 游士 审阅人 文档变更记录 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,云速搭CADT
混合云存储构建VMware虚拟化平台
混合云存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
文档版本:20191223 16 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 步骤2 选择修改IP设置,分别为2块设置IP地址。文档版本:20191223 17 混合云存储构建VMware虚拟化平台 存储阵列系统初始化配置 步骤3 分别为2个网卡开启iSCSI功能。确认IPv4iSCSI主机为启用状态。文档版本:20191223 18 混合云存储构建...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
Hyper-V on 弹性裸金属最佳实践
Hyper-V on 弹性裸金属最佳实践
场景描述 本方案适用于基于弹性裸金属服务器(神龙)自 建Microsoft Hyper-V环境的场景。 解决问题 l使用神龙自建+Microsoft Hyper-V虚拟 化环境环境。 l创建LinuxHyper-VVM。 lHyper-VVM访问外部网络。 l外部网络访问Hyper-VVM上的服务。 产品列表 l神龙GPU云服务器(ecs.ebmg5s) l专有网络VPC
解决问题 使用神龙自建+Microsoft Hyper-V虚拟化环境 环境 创建 Linux Hyper-V VM Hyper-V VM访问外部网络 外部网络访问 Hyper-V VM上的服务 部署架构 产品列表 神龙 GPU云服务 专有网络 VPC 弹性公网 IP 云速搭 CADT 最佳实践频道 阿里云最佳实践分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
1.收集 3个节点的私 IP地址和对应的主机名,如下所示(请根据您环境的实际 IP 地址进行修改):192.168.10.205 master 192.168.10.207 slave1 文档版本:20211029 9 CDH迁移升级 CDP最佳实践 基础环境搭建 192.168.10.208 slave2 192.168.10.206 slave3 2.通过 SSH远程登录 master节点所在的 ECS实例,通过 vim编辑器将...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
文档版本:20200220 6 云端影视渲染 通过 VPN建立网络互联 步骤5 在创建专有网络侧边页,配置专有网络和交换机相关参数,并单击确定。类别 配置项 说明 专有网络 名称 render_net IPv4网段 推荐网段 选择网段较大的 172.16.0.0/12 交换机 名称 创建放置应用服务器的交换机,app_server。可用区 北京 可用区 A IPv4网段 172....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
RI和SCU全链路使用实践
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展,更多的企业会使用云计算,且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。 本文提供全链路使用实践,帮助客户快速验证云上服务,更合理 的使用RI/SCU。借助覆盖率指标和智能推荐,有效管理云上资 源成本。 用户价值 使用RI 和SCU,可以灵活抵扣相关资源。随时创建释放, 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务,跨服务高 度灵活,无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘,简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
RI和 SCU 全链路使用实践 业务架构 场景描述 随着云计算的不断发展,更多的企业会使用云计 算,且会有越来越多的企业和用户开始重视云上 使用成本。其中计算和存储是云资源使用的主要服务之一。采用预留实例券(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。本文提供全链路 使用实践,...http(s):/ecs.aliyuncs....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,存储容量单位包,预留实例券
数据迁移上云
数据迁移上云
随着越来越多的企业选择将业务系统上云,各种类型的数据如何便捷、平滑的迁移上 云,成了用户上云较为关注的点;业务上云后,因为业务或者其他方面调整等因素, 也存在如跨区域,跨账号等数据迁移的场景。针对以上需求,阿里云上提供了较为丰 富的工具(如ossimport)、服务(在线迁移服务),旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源,并以杭州区域来模拟线 下IDC(或友商),深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
云企业网可帮助您在不同地域 VPC间,VPC与本地数据中心间搭建私网通信通道,通过自动路由分发及学习,提高网络 的快速收敛和跨网络通信的质量和安全性,实现全网资源的互通,帮助您打造一 文档版本:20201013 II 数据迁移上云最佳实践 前言 张 具 有 企 业 级 规 模 和 通 信 能 力 的 互 联 。详见:...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储NAS,云企业网,云速搭CADT
弹性裸金属自建ORACLE数据库单机版
弹性裸金属自建ORACLE数据库单机版
场景描述 1.客户业务系统选型ORACLE数据库且不愿 做业务改造:由于历史原因,客户业务系统 只支持ORACLE数据库。适配开源数据库 业务改造量大,客户没有技术/时间去做改 造。 2.高性能:客户希望拥有比虚拟机更高的性能 和稳定性,以保障数据库高性能,支撑高并 发的业务系统; 3.高可用:在单机条件下,极端情况下数据库 发生宕机时,客户希望能快速拉起数据库服 务,减少停机时间; 4.数据安全性:极端情况下能找回数据。数据 备份和恢复更方便。
ESSD云盘基于新一代分布式块存储架构,结合 25GE 和 RDMA技术,为您提供单盘高达 100万的随机读写能力和更低的单路时延能 文档版本:20220207 II 神龙最佳实践:弹性裸金属自建 ORACLE数据库/单机ESSD版 前言 力。ESSD云盘适用于部署 OLTP数据库、NoSQL数据库,运行 ElasticSearch 分布式日志等场景。详见 ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,弹性公网IP,弹性裸金属服务器(神龙),云速搭
Function Compute构建高弹性大数据采集系统
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中,对数据进行处理、分析,形成业务闭环。比如游戏行业中的游戏发行、游戏运营,产互行业中的数字营销,物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点,给整个数据采集传输系统带来很大的挑战。在这个场景中,有三个关键的环节,数据采集、数据传输、数据处理。该最佳实践主要涉
式提供数据采集、加工、分析、告警可视 化与投递功能,全面提升研发、运维、运营和安全等场景数字化能力。更多信息,请参见:www.aliyun.com/product/sls Tracing Analysis: 链路追踪 Tracing Analysis为分布式应用的开发者提供了完整 的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具,可以帮助开 发者...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,日志服务(SLS),函数计算,消息队列 Kafka 版,云速搭CADT
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用