自建Hive数据仓库跨版本迁移到阿里Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里<em>云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
Python版本 默认版本为 Python3 付费类型 目前支持的付费类型为包年包月和按量付费 可用区 可用区为在同一地域下的不同物理区域,可用区之间内 网互通。一般选择默认的可用区即可,亦可选择与已购阿 里产品部署在同一个可用区。ECS实例 由 Master和 Worker两种类型的节点组成:Master节点:主要负责集群资源管理和作业...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
混合灾备之HDR VMware虚拟机容灾
混合<em>云</em>灾备之HDR VMware虚拟机容灾
场景描述 本文为您介绍使用混合云容灾服务来备份虚拟机的 镜像,可以为云上或云下的VMware环境提供有效 的数据保护,保证数据快速、安全、高效地备份到云 上,并在需要时快速恢复备份镜像。 解决问题 1.云上和云下的VMware虚拟机容灾保护。 2.云下的VMware虚拟机环境如何在云上快速恢 复。 产品列表 1.弹性裸金属服务器 2.HDR混合云容灾服
在弹性公网IP开通页面,选择按量付费模式,并参考下表,配置相关参数。配置项 说明 地域 华东2(上海)带宽峰值 50Mbps 说明:考虑到容灾复制效率,EIP峰值可设置为50M。流量 按使用流量计费 配置完成,单击立即购买。文档版本:20191204 12 HDRVMware虚拟机容灾 部署VMware环境 在确认订单页面,确认各项参数配置。确认...
来自: 最佳实践 | 相关产品:弹性裸金属服务器(神龙)
云速搭部署数据库专属集群Mybase
云速搭部署<em>云</em>数据库专属集群Mybase
通过云速搭设计一个Mybase专属集群部署架构包含AliSQL及Tair
文档版本:20220207 23 云速搭部署数据库专属集群Mybase CADT设计部署应用 可以在图中清晰看出哪些资源是导入的:步骤8 导入的架构默认是浏览状态,不能修改,我们要在导入的架构中创建两台 Mybase ,这里先切换到编辑状态。文档版本:20220207 24 云速搭部署数据库专属集群Mybase CADT设计部署应用 步骤9 在两个专...
来自: 最佳实践 | 相关产品:专有网络 VPC,云数据库专属集群MyBase,云速搭CADT
云速搭部署防火墙最佳实践
云速搭部署<em>云</em>防火墙最佳实践
本实践通过云速搭实现云防火墙的示例架构,开通一个典型的网络服务。
如果有购买按量付费资源,阿里账户余额需要大于 100元。您 可 以 登 录 阿 里 控 制 台,并 前 往 账 户 总 览 页 面(https://expense.console.aliyun.com/#/account/home)查看账户余额。已开通以下服务:ᅳ 防火墙 文档版本:20211105 2 云速搭部署防火墙 产品介绍 产品介绍 云速搭 CADT:是一款为上云应用提供...
来自: 最佳实践 | 相关产品:云防火墙,云速搭CADT
混合自有K8S弹性使用ECI
混合<em>云</em>自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构,自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下,自有K8S集群注册至ACK,实现云端纳管。纳管K8S集群部署Virtual Node,使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用,并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
使用 ECI无需购买 和管理底层 ECS服务器,并可按需创建 ECI,仅为容器配置的资源付费按量按秒 计费)。虚拟节点 Virtual Node来源于 Kubernetes社区的 Virtual Kubelet技术,其实现了 Kubernetes与弹性容器实例 ECI的无缝连接,让 Kubernetes集群轻松获得极大的 弹性能力,而不必受限于集群的节点计算容量。正因为 ...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,访问控制,NAT网关,云企业网,容器镜像服务 ACR,弹性容器实例 ECI
混合存储构建VMware虚拟化平台
混合<em>云</em>存储构建VMware虚拟化平台
场景描述 本文以混合云存储阵列SA2600系统为例,介绍如 何在混合云存储环境下部署VMware虚拟化平台, 以及混合云环境下虚拟机的部署、扩容、云备份等功 能演示。 解决问题 1.如何使用混合云存储部署VMware虚拟化平台。 2.存储阵列在混合云环境下的使用,比如虚拟机部 署、扩容、云备份等。 产品列表 1.混合云存储阵列 2.对象存储OSS
主机菜单位于左侧的菜单栏,从上到下是第六个图标,将鼠标移动至主机菜单,即可 显示子菜单:主机主机划分的端口、主机映射、按主机划分的卷。复制服务菜单 复制服务菜单位于左侧的菜单栏,从上到下是第七个图标。此菜单是针对复制功能提 供的GUI页面。将鼠标移动至复制服务菜单,即可显示子菜单:本地复制、一致性 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,对象存储 OSS,访问控制,混合云存储阵列 Hybrid Cloud
组建多可用区多地域的混合
组建多可用区多地域的混合<em>云</em>
场景描述 无特定行业属性,对云下有IDC的用户,上云建 立多地域多可用区高稳定性的业务架构,组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式,但成本 较高,交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC,CEN,高速通道(专线),SLB,ECS
slb.s1.small 可用区 华北 2可用区 F 备可用区 华北 2可用区 E 实例类型 私网 计费类型 使用流量计算 文档版本:20210805 4 组建多可用区多地域的混合最佳实践 创建北京区域 ECS IP版本 Ipv4 带宽值 1 实例名称 slb-sh 支付方式 后付费 实例规格 slb.s1.small 可用区 华东 2可用区 F 备可用区 华东 2可用区 E 实例...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,云企业网,高速通道,云速搭
云端影视渲染
云端影视渲染
场景描述 本文介绍如何搭建一个完整的混合云渲染服务架构,本地与云端的网络以SSL-VPN方式进行互联。 解决问题 1、使用SSL-VPN构建本地网络与云上VPC环境的安全互联。 2、使用批量计算服务管理渲染计算集群,集群计算节点自动加入Deadline资源池。 3、使用Deadline做渲染任务管理。 4、批量计算集群计算节点根据Deadline渲染任务自动扩容和收缩,资源管理自动化。 产品列表 1、云服务器ECS 2、GPU云服务器GPU 3、批量计算BCS 4、专有网络VPC 5、弹性公网IP 6、文件存储NAS
配置项 说明 区域 华北 2(北京)可用区 华北 2 可用区 H 协议类型 NFS 存储类型 性能型 文件系统 ID 创建新文件系统并绑定存储包(测试情况下请采用按量付费方式)容量 根据实际需要选择 购买数量 1 购买时长 根据实际需要选择 文档版本:20200220 17 云端影视渲染 创建并配置 NAS实例 步骤6 在确认订单页面,确认各项参数...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,VPN网关,批量计算
阿里最佳实践容器workshop
阿里<em>云</em>最佳实践容器workshop
通过本篇最佳实践,可以熟悉容器及k8s的基本操作。基于eci的高弹性架构,能有效的应对业务流量洪峰,同时提升资源使用效率。
步骤2 商品类型选择按量付费,地域要选择正确与 worker节点所在地域一致,选择按使用流 量计费。文档版本:20220301(发布日期)27 阿里ACK容器服务workshop 阿里 ACK实践 步骤3 EIP 创建完成后,在 ECS 控制台(https://ecs.console.aliyun.com/server/region/cn- shanghai),选择一台 worker节点绑定 EIP。步骤4 登录...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),访问控制,容器镜像服务 ACR,云效,云速搭
自建Hadoop迁移到阿里EMR
自建Hadoop迁移到阿里<em>云</em>EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
EMR 自建 Hadoop集群环境搭建 安全组 EMR-security-group VPN 类别 配置项 说明 名称 vpngw-hangzhou 带宽规格 5 支付方式 预付费/月付费/1个月 是否开启 IPSec-Enable VPN 是否开启 SSL-Disable VPN OSS 类别 配置项 说明 Bucket名称 Bucket-for-hadoop-data-[任意字符]存储类型 标准存储 同城冗余存储 关闭 读写权限 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建ElasticSearch迁移阿里
自建ElasticSearch迁移阿里<em>云</em>
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
自建 ElasticSearch迁移阿里 场景描述 解决的问题 以ElasticSearch为例,演示搭建模拟业务系 自建ElasticSearch的上/跨备份需求。统、VPN网关和 IPSec VPN隧道,介绍如何通过 自建ElasticSearch迁移到阿里 快照的方式,将 ElasticSearch索引数据安全备 ElasticSearch服务实例。份到阿里 OSS存储空间,以及介绍...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
自建Hive数仓迁移到阿里EMR
自建Hive数仓迁移到阿里<em>云</em>EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
配置项 说明 名称 vpngw-hangzhou 带宽规格 5 支付方式 预付费/月付费/1个月 文档版本:20210721 9 自建Hive数据仓库跨版本迁移到阿里 EMR 基础环境搭建 是否开启 IPSec-Enable VPN 是否开启 SSL-Disable VPN RDS 类别 配置项 说明 实例名 Hive-Metadata-DB 支付方式 后付费 类型 MySQL 版本 5.7 分类 基础版 存储类型 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
MRACC加速倚天ECS实例Flink集群性能
MRACC加速倚天ECS实例Flink集群性能
希望了解Flink集群on倚天的部署架构。 通过神龙大数据加速引擎 Mracc 提升Flink集群性能。 希望实测了解倚天ECS实例运行Flink集群的性能 架构设计:利用阿里云官方架构设计模版,在此基础上二次定制(调整规格、资源数量、配置调整)。 快速完成PoC和生产环境的设计和部署
步骤4 进入核算价格阶段,这里会将应用中的资源按照免费、按量付费和包年包月进行 分类显示(本方案采用按量付费),如果产品享受折扣这里会自动将账号对应的优 惠显示出来。价格清单中的价格信息为当时的实时价格,具体产品价格信息请以页面显示为准。应用计价成功后,CADT实时生成一个应用架构成本分析报告,可以单击...
来自: 最佳实践 | 相关产品:云服务器ECS,云速搭
服务器基准性能测试
<em>云</em>服务器基准性能测试
本最佳实践适合利用标准的benchmark工具对云服务器的CPU、内存、网络和磁盘性能进行测试的场景。
释放资源 这里我们都是部署的按量计费的资源,因此测试完成后,可以使用云速搭批量释放资源。步骤1 在云速搭的应用页面,点击资源清单,点击释放全部资源 步骤2 在弹出的窗口中点击确定 步骤3 在弹出的窗口中,点击发送验证码,并填写验证码,然后点击确定。文档版本:20220218 32 服务器基准性能测试 云盘性能测试 步骤4...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,云速搭CADT
混合多云统一安全
混合<em>云</em>多云统一安全
场景描述 有些客户的业务系统部分上云、或者还没上 云,但想使用阿里云公共云的安全服务;或 者业务系统部署在多个云平台上,想使用阿 里云的安全来提供统一服务。 解决问题 1.通过阿里云的安全产品和服务,统一管理阿 里云、IDC和它云的资产; 2.满足混合云、多云的等保需求。 产品列表 云安全中心 堡垒机 数据库审计 高防IP Web应用防火墙 证书服务 日志服务 VPN网关
客户的业务系统既有部分在私有或 IDC,也有部分在非阿里云云平台、部分在 阿里公共平台的情况,即混合和多云都包含,想使用阿里公共的安全 产品来做安全方案。1.2.方案架构 不论是哪种混合或多云的情况,都需要把 IDC与公共、或两个公共平台打通,即建立私网连接,因为一般两个类数据中心之间不经由公网...
来自: 最佳实践 | 相关产品:日志服务(SLS),Web应用防火墙,数据库审计,堡垒机,SSL证书
视频直播
阿里云视频直播服务(ApsaraVideo Live)是基于领先的内容接入与分发网络和大规模分布式实时流媒体转码技术打造的直播平台,提供便捷接入、高清流畅、低延迟、高并发的音视频云高清直播直播服务。
按量计费(后付费)定义:按照各计费项的实际用量结算费用,先使用,后付费。查看详情资源包(预付费)定义:预先购买针对指定的计费项推出的优惠资源包,在费用结算时,优先从资源包抵扣用量,先购买,后抵扣。查看详情查看更多使用视频直播价格计算器,快速计算价格安全合规视频直播提供了完善的内容安全保护机制,您可以...
来自: 云产品
搭建高性能ACK集群
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式,导致容器之间的网 络性能,相比服务器之间直接通信方式,会有一 定程度的下降。阿里云托管版的K8S容器服务, 支持自研的Terway网络插件,该插件可以有效 减少因容器而引入的网络性能下降,可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践,指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
文档版本:20220126 77 搭建高性能 ACK集群最佳实践 CADT一键释放资源 4.CADT一键释放资源 针对按量付费的资源,CADT支持一键释放资源,包年包月的资源,CADT无法一键 释放。步骤1 在资源清单中,点击“释放全部资源”。步骤2 点击“确定”。步骤3 获取验证码然后启动释放流程。文档版本:20220126 78 搭建高性能 ACK集群...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,容器服务 ACK,云速搭
RAM角色集成企业OpenLDAP身份认证
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP, 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系,实现企业员工使用企业OpenLDAP账 号以单点登录(SSO)的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak,并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
产品或服务 配置项 说明 专有网络 名称 demo IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vsw_a 可用区 张家口 可用区 A IPv4网段 192.168.0.0/24 服务器 计费方式 按量付费 地域 华北 3(张家口)可用区 A 实例 架构:x86计算 分类:计算型 计算型 c6 ecs.c6.2xlarge(8 vCPU,16 GiB)购买实例数量:1 台 镜像 公共镜像...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,访问控制,容器镜像服务 ACR,云速搭
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
本地数据中心基于SMB/NFS协议访问对象存储最佳实践
1. 云存储扩容和迁移 集成智能缓存算法,自动识别冷热数据,将热数据保留在本地缓存,保证数据访问体验,无感知的将海量云存储数据接入本地数据中心,拓展存储空间。同时在云端 保留全量数据(冷+热)保证数据的一致性 2.云容灾 随着云计算的普及,越来越多的用户把自己的业务放到了云上。但是随着业务的发展,如何提高业务的可靠性和连续性,跨云容灾是一个比较热门的话题。借助云存 储网关对虚拟化的全面支持,可以轻松应对各种第三方云厂商对接阿里云的数据容灾。 3. 多地数据共享和分发 通过多个异地部署的文件网关实例,对接同一个阿里云OSS Bucket,可以实现快速的异地文件共享和分发,非常适合多个分支机构之间互相同步和共享数据。 4. 适配传统应用 有很多用户在云上的业务是新老业务的结合,老业务是从数据中心迁移过来的使用的是标准的存储协议,例如: NFS/SMB/iSCSI。新的应用往往采用比较新的技 术,支持对象访问的协议。如何沟通两种业务之间的数据是一个比较麻烦的事情,云存储网关正好起到一个桥梁的作用,可以便捷的沟通新旧业务,进行数据交换。 5. 替代 ossfs 和 ossftp ossfs 和 ossftp 都是基于文件协议的开源工具,用户可以通过它们直接上传文件到OSS。但是这两个开源文件都不建议在生产环境使用(POSIX 兼容度低),同时挂 载在用户的客户端需要额外的配置和缓存资源,对于多个客户端的情况安装配置繁琐。通过文件网关的服务可以完美替代 ossfs 和 ossftp。通过创建文件网关,用 户只需要执行简单的挂载(NFS)和映射(Windows SMB)就可以像使用本地文件系统一样使用 OSS。
文档版本:20210525 5 本地数据中心基于 SMB/NFS协议访问对象存储 存储网关配置 步骤3 选择按量付费进行测试,生产环境建议选择包年包月,单击下一步。步骤4 当前存储网关支持三类镜像:vSphere,HyperV,KVM。本篇最佳实践以 HyperV为例,演示如果进行镜像的安装和配置。复制下载镜像的链 接备用。文档版本:20210525 ...
来自: 最佳实践 | 相关产品:对象存储 OSS,云存储网关
云速搭部署 NAS 文件系统
云速搭部署 NAS 文件系统
本实践通过云速搭构建一个 NAS,并将 NAS 文件系统挂载到 ECS 的目录上。
文档版本:20211027 5 云速搭部署 NAS文件系统 前序工作 ECS名 ecs-nas 主机名 ecs-nas 支付方式 后付费 按量付费 实例规格 4 核 CPU,16GB 上业务系统规格按照原规 内存 格购买。(ecs.g6.xlarge)镜像 CentOS 镜像版本 CentOS 7.6 64位 系统盘 cloud_ssd ESSD云盘 硬盘容量 40GiB 公网带宽 按流量付费 出网带宽 10 分配...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,文件存储NAS,云速搭CADT
< 1 2 3 4 5 >
共有5页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用