自建Hadoop迁移到阿里EMR
自建Hadoop迁移到阿里<em>云</em>EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
步骤3 首先通过 SSH登录到 FlexGW VPN所在 ECS,然后通过 SSH继续跳转到 Apache 日志发生所在 ECS,并执行下面的 ping命令(请将红色字体内容替换为杭州 EMR 集群中主机节点的实际 IP地址):ping-c 5 10.17.105.116 文档版本:20210714 36 自建Hadoop数据迁移到阿里 EMR 启动数据迁移任务 4.启动数据迁移任务 DistCp...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
MaxCompute湖仓一体方案
MaxCompute湖仓一体方案
场景描述 自建数据湖与云数仓的融合解决方案,将 MaxCompute与自建的Hive集群做数据打 通,通过存储共享,元数据镜像等方式,解 决传统模式下的存储冗余,计算资源弹性能 力弱的痛点。可大幅度增强系统的资源弹 性,解决业务高峰期计算资源不足的问题。 方案优势 1.业务无侵入性:现有业务无需改造。 2.性能优化:MaxCompute在SQL上做 了大量优化与能力沉淀,可提高SQL 运行性能,降低计算成本。 3.灵活管理:元数据实时同步,无需额外 管理数据同步任务。 4.资源弹性:利用MaxCompute计算池 弹性进行海量数据计算。 解决问题 1.增强业务高峰期的资源弹性。 2.优化自建数据湖的数据治理能力。 3.减少跨平台数据处理的存储冗余。 产品列表 专有网络VPC 云服务器ECS 访问控制RAM 运维编排OOS MaxCompute(原ODPS) 云企业网CEN
2.MaxCompute端创建外部项目,镜像 Hive元数据,可以直接访问 Hive元数据 ,并将元数据信息映射到 MaxCompute的外部项目(External Project)中 操作流程 1.资源创建:使用阿里云速搭 CADT一键完成业务部署图中的云资源创建,部分暂 时不支持 CADT拉起的资源,需要手动在控制台创建和配置,如 DataWorks工作 空间。2....
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云企业网,E-MapReduce,大数据计算服务 MaxCompute,运维编排,云速搭
自建K8S迁移镜像、应用至阿里ACK最佳实践
自建K8S迁移镜像、应用至阿里<em>云</em>ACK最佳实践
云原生技术K8S以其易管控,自动化操作,自修复等特点充分满足了企业的需求,越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代,自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力,所以上云成了一些企业的选择,将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理,企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK;本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
容器镜像服务 ACR(Alibaba Cloud Container Registry)默认实例版提供基础的容器镜像 ,包括安全的应用镜像托管能力、精确的镜像安全扫描功能、稳定的国内外镜像构建服务 以及便捷的镜像授权功能,从而方便用户进行镜像全生命周期管理。容器镜像服务简化了 Registry 的搭建运维工作,支持多地域的镜像托管,并联合容器...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,容器服务 ACK,容器镜像服务 ACR
基于SLS实现统一告警最佳实践
基于SLS实现统一告警最佳实践
告警对于企业的开发运维,安全运维,业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题,SLS告警提供了一站式云上告警管理方案,具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台,实现在SLS上一站式管理告警。
名词解释 云服务器 ECS云服务器 ECS(Elastic Compute Service)是阿里云提供的性能 卓越、稳定可靠、弹性扩展的 IaaS(Infrastructure as a Service)级别云计算 云服务器 ECS免去了您采购 IT硬件的前期准备,让您像使用水、电、天然气 等公共资源一样便捷、高效地使用服务器,实现计算资源的即开即用和弹性伸缩。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,弹性公网IP,日志服务(SLS),云速搭CADT
管对接实现已有节点加入ACK集群
<em>云</em>管对接实现已有节点加入ACK集群
企业内部伴随着业务量增加,对 ACK 集群扩容属于高频操作,部分企业有一些特殊的 要求,例如节点规格需要灵活指定,系统需要重新初始化从而符合企业内部规范等。 直接通过节点池扩容显得不够灵活,例如缺少库存校验等能力,扩容有可能失败,扩 容完成后需要手动修改节点的配置,自动化程度较低,增加了运维人员的负担。
无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS 实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时 释放资源,节省费用。详见:https://www.aliyun.com/product/ecs ACK:阿里云容器服务 Kubernetes 版(Alibaba Cloud Container Service for Kubernetes,简称容器服务 ACK...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,容器服务 ACK,云速搭CADT
EHPC分子动力学最佳实践
EHPC分子动力学最佳实践
本文档以一个简单的分子动力学算例,介绍阿里云EHPC分子动力学最佳实践。
使用 ECS弹性伸缩组构建集群弹性 产品列表 弹性高性能计算 E-HPC 文件存储 NAS 云速搭 CADT 云服务器 ECS GPU云服务器 最佳实践频道 阿里云最佳实践技术分享群 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EHPC分子动力学 最佳实践 文档版本:20211115(发布日期)文档版本:20150122(发布日期)II...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC,云速搭CADT
OpenAPI实现主机闪电交付
OpenAPI实现<em>云</em>主机闪电交付
闪电交付最佳实践使用Alibaba Cloud Linux 2 镜像来快速创建大量的ECS云主机,满足客户在处理热点事件时大量且紧急的算力需求。 本实践针对在短暂时间内需要快速交付大量ECS实例的场景。通过调用阿里云Open API实现快速的跨VPC部署大量ECS实例,满足用户对高弹性算力的需求,而且ECS启动的时间很短。对于社交媒体,在线教育等存在线上热点活动的用户,该方案可以提高客户的使用体验
解决问题 快速创建大量的云服务器实例,满足客户对紧 急的算力需求。产品列表 云服务器 ECS Alibaba Cloud Linux 2 最佳实践频道 阿里云最佳实践分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 OpenAPI实现 云主机闪电交付 最佳实践 文档版本:20201203...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,OpenAPI,Alibaba Cloud Linux ,云速搭CADT
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS 实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时 释放资源,节省费用。安全组:安全组是一种虚拟防火墙,具备状态检测和数据包过滤功能,可以配置一 系列的安全组规则,允许或禁止安全组内 ECS实例对公网或私网的访问。...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
上持续审计合规最佳实践
<em>云</em>上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
是阿里云提供的一种基础云计算 无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS实 例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时释 放资源,节省费用。文档日期:20210726 IV 云上持续审计合规最佳实践 场景描述 详见:https://www.aliyun.com/product/ecs RDS:...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
Spring Cloud Netflix应用迁移EDAS
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务(SpringCloud Alibaba云版本)的方法, 迁移后充分利用阿里云监控、调用链、限流降级 等能力,优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务(EDAS)平台。 2.迁移到EDAS后,简化应用的运维,提升监 控、调用链探测、限流降级等管理能力,提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务(EDAS) 负载均衡(SLB) 专有网络(VPC) 云服务器(ECS)
无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS 实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加带宽。也能随时 释放资源,节省费用。更多信息,请参见:https://www.aliyun.com/product/ecs SLB:对多台云服务器进行流量分发的负载均衡服务,可以通过流量分发扩展应用 系统对外的服务...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,企业级分布式应用服务 EDAS
RAPIDS加速图像搜索
RAPIDS加速图像搜索
场景描述 本方案适用于使用RAPIDS加速平台 +GPU云服务器来对图像搜索任务进行加 速的场景。相比CPU,利用GPU+ RAPIDS在图像搜索场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速图像搜索环境 2.使用容器服务Kubernetes版部署图 像搜索环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
步骤2 在选择已有云服务器实例页面,添加方式选择自动添加,勾选已创建的云服务器实 例,并单击下一步。步骤3 选择系统镜像,设置密码并单击下一步。40 RAPIDS加速图像搜索 使用容器服务 ACK部署 RAPIDS环境 步骤4 在确认添加已有实例到集群对话框中单击确定。步骤5 单击去集群列表查看。41 RAPIDS加速图像搜索 使用容器...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
RAPIDS加速机器学习
RAPIDS加速机器学习
场景描述 本方案适用于使用RAPIDS加速库+GPU 云服务器来对机器学习任务或者数据科学 任务进行加速的场景。相比CPU,利用 GPU+RAPIDS在某些场景下可以取得非常 明显的加速效果。 解决问题 1.搭建RAPIDS加速机器学习环境 2.使用容器服务Kubernetes版部署 RAPIDS环境 3.使用NAS存储计算数据 产品列表 容器服务Kubernetes版 GPU云服务器 文件存储NAS
步骤2 在选择已有云服务器实例页面,添加方式选择自动添加,勾选已创建的云服务器实 例,并单击下一步。39 文档版本信息:20191209 RAPIDS加速机器学习 使 用容器 A CK部署 RAPIDS环境 步骤3 选择系统镜像,设置密码并单击下一步。步骤4 在确认添加已有实例到集群对话框中单击确定。40 文档版本信息:20191209 RAPIDS...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,容器服务 ACK
EMR本地盘实例大规模数据集测试
场景描述 阿里云为了满足大数据场景下的存储需求,在云 上推出了本地盘D1机型,这个系列提供了本地 盘而非云盘作为存储,提高了磁盘的吞吐能力, 发挥Hadoop的就近计算优势。阿里云EMR 产品针对本地盘机型,推出了一整套的自动化运 维方案,帮助用户方便可靠地使用本地盘机型, 不需要关注整个运维过程同时数据的高可靠和 服务的高可用。 解决问题 1.云盘多份冗余数据导致成本高 2.磁盘吞吐量不高 3.节点的高可靠分布问题 4.本地盘与节点的故障监控问题 5.数据迁移时自动决策问题 6.自动故障节点迁移与数据平衡问题 产品列表 EMR(E-MapReduce) 本地盘 VPC
无需提前采购硬件设备,根据业务需要,随时创建所需数量的云服务器 ECS 实例。在使用过程中,随着业务的扩展,可以随时扩容磁盘、增加贷款,也能随 时释放资源,节省费用。EMR:E-MapReduce(EMR)是构建在阿里云云服务器 ECS上的开源 Hadoop、Spark、Hive、Flink 生态大数据产品,提供用户在云上使用开源技术建设数据仓 库、...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,E-MapReduce
EHPC工业仿真
EHPC工业仿真
场景描述 本实践适用于使用弹性高性能计算EHPC+ 对象存储OSS运行仿真软件进行模型仿真 的场景中,这里运行的是LAMMPS这款开 源的仿真软件,数据通过OSS上传。 解决问题 1.使用EHPC运行工业仿真软件 2.使用OSS存储数据和代码 3.可视化计算结果 产品列表 弹性高性能计算E-HPC 对象存储OSS
可视化计算结果 产品列表 弹性高性能计算 E-HPC 对象存储 OSS 文件存储 NAS 云速搭 CADT 最佳实践频道 阿里云最佳实践技术分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EHPC工业仿真 最佳实践 发布日期:20210813 文档版本:20150122(发布日期)II EHPC...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,弹性高性能计算E-HPC
Openstack迁移DDH
Openstack迁移DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
OpenStack迁移DDH 最佳实践 业务架构 场景描述 解决问题 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 1.如何将OpenStack中的云服务器迁移 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 DDH上。上云的同时,显著降低成本。2.如何使用DDH构建云上环境。产品...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
自建Hive数据仓库跨版本迁移到阿里Databricks数据洞察
自建Hive数据仓库跨版本迁移到阿里<em>云</em>Databricks数据洞察
场景描述 客户在IDC或者公有云环境自建Hadoop集群构建数据仓库和分析系统,购买阿里云Databricks数据洞察集群之后,涉及到数仓数据和元数据的迁移以及Hive版本的订正更新。 方案优势 1. 全托管Spark集群免运维,节省人力成本。 2. Databricks数据洞察与阿里云其他产品(OSS、RDS、MaxCompute、EMR)进行深度整合,支持以这些产品为数据源的输入和输出。 3. 使用Databricks Runtime商业版引擎相比开源Spark性能有3-5倍的提升。 解决问题 1. Hive数仓数据迁移OSS方案。 2. Hive元数据库迁移阿里云RDS方案。 3. Hive跨版本迁移到Databricks数据洞察使用Delta表查询以提高查询效率。
阿里云最佳实践分享群 最佳实践频道 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 自建Hive 数据仓库跨版本迁移到 阿里云Databricks数据洞察 文档版本:20210425(发布日期)文档版本:20210425 1 自建 Hive数据仓库跨版本迁移到阿里云 Databricks数据洞察 文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,文件存储HDFS,spark
搭建高性能ACK集群
搭建高性能ACK集群
场景描述 容器的网络协议栈实现方式,导致容器之间的网 络性能,相比服务器之间直接通信方式,会有一 定程度的下降。阿里云托管版的K8S容器服务, 支持自研的Terway网络插件,该插件可以有效 减少因容器而引入的网络性能下降,可以基本达 到服务器之间直接通信的网络性能。本最佳实践 主要是一个性能测试方面的实践,指导客户进行 POC测试等。 解决问题 1.POD之间网络性能提升。 2.性能测试方法 产品列表 阿里云托管K8S ACK
说明:在阿里云上的云服务器,一般每 2个 CPU核可以分配 1个弹性网卡 ENI。为了 保证每个 Pod拥有可用的 EIP,Pod所占用的资源不能太小,建议 2核或以上。所以,Pod 独占 ENI模式适合于对计算资源要求比较高的场景;普通容器服务使用基本的 ACK集群或独占 EIP的集群即可。1.在镜像名称后,单击选择镜像。2.在镜像选择对话框...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,容器服务 ACK,云速搭
AK防泄漏
AK防泄漏
场景描述 用户名密码是开发运维人员访问阿里云控制台 的凭据,AK是软件程序访问阿里云资源的凭据。 如果AK被泄露,那么会造成非常严重的后果, 比如资源被释放导致业务不可用、大量服务器被 创建用来挖矿,等等。采用合适的方式来使用、 保护AK,是每一个云客户都必须关注的问题。 解决问题 1.避免AK被泄露 2.改进已经错误使用AK的方法 产品列表 访问控制RAM 云服务器ECS 操作审计Action Trail 云安全中心
改进已经错误使用 AK的方法 demo架构图:产品列表 访问控制 RAM 云服务器 ECS 操作审计 Action Trail 云安全中心 最佳实践频道 阿里云最佳实践分享群 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 企业上云实践 AK防泄漏 最佳实践 文档版本:20220211 文档版本:...
来自: 最佳实践 | 相关产品:云服务器ECS,访问控制,云安全中心,操作审计,云速搭CADT
云速搭部署 EIP 实现共享带宽/流量包管理
云速搭部署 EIP 实现共享带宽/流量包管理
本实践通过云速搭设计、部署一个“ECS+EIP+共享带宽”架构,多个 EIP 可以使用共享带宽的资源。
在购买共享流量包产品 后会立刻生效,并自动抵扣按流量计费的云服务器 ECS、弹性公网 IP(EIP)、负载均 衡(SLB)和 NAT网关产生的 IPv4流量(不包含 EIP精品流量)费用,直到流量包 用完或到期为止。步骤1 应用部署完成后,默认为浏览模式,切换为编辑模式继续进行应用架构设计。步骤2 在左侧搜索框输入资源名称:共享...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP,云速搭CADT
中小企业基于SAG APP实现上移动办公
中小企业基于SAG APP实现<em>云</em>上移动办公
1. 客户端一键接入上云,配置自动化 2. 城域内 Internet 就近接入,快速高效 3. 数据加密传输,满足安全性要求 4. 阿里云控制台统一配置管理
配置完成后,云企业网便可将已加载 的云连接网实例所在的网络和 OSS 云服务网络打通,本地用户便可通过云企业网访 问 OSS云服务。步骤1 登录云企业网控制台(https://cen.console.aliyun.com/),单击已创建的云企业网实例 ID,选择云服务,并单击设置云服务。步骤2 将华东 2上海 OSS的 IP地址段全部配置上,选择目标 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,云企业网,云解析 PrivateZone,智能接入网关,云速搭
< 1 2 3 4 ... 8 >
共有8页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用