自建Hadoop迁移阿里EMR
自建Hadoop迁移<em>到</em>阿里<em>云</em>EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
通过 ssh登录 emr-header-1节点,执行下面命令:文档版本:20210714 55 自建Hadoop数据迁移阿里云 EMR 迁移其他阿里云存储服务 su-hadoop 生成一个文本文件 ls-l>test.txt 将 test.txt上传 JindoFS,命令中红色字体为步骤 2中设置的 jfs.namespaces 的值 hadoop fs-put test.txt jfs:/emr_hangzhou_jindo/查看 ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建ElasticSearch迁移阿里
自建ElasticSearch迁移阿里<em>云</em>
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
创建 V1.1 2019/09/19 筱晖-文档优化 V1.2 2019/12/03 魁 增加快照恢复 阿里 ElasticSearch 实例 V1.3 2021/08/02 游士 使用 CADT迭 代文档并优化 文档版本:20210802 I 自建 ElasticSearch快照备份 OSS 前言 前言 概述 客户业务系统部署在 IDC或者公有环境,通常会部署基于 ELK的日志收集、 、分析和展现系统...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
EHPC药物筛选
EHPC药物筛选
场景描述 本方案适用于使用弹性高性能计算 EHPC和文件存储NAS来搭建基础环 境,运行药物筛选应用AutodockVina 的场景中,这里采用批处理方式来提交 作业,并可以可视化计算结果。 方案架构 1.计算之前,将数据通过互联网/闪电立方/高速通道上传到阿里云OSS 2.计算时,将数据从OSS拉取到文件共享存储NAS上 3.计算时,在EHPC集群上进行,计算节点从NAS上读写数据 • 容量型NAS:低成本,大容量 • 性能型NAS:适合高IOPS应用,作为临时目录 • CPFS:适合超大规模,并行度极高的作业 4.计算节点: • 如果对计算时间不敏感,希望低成本运算,可选ECS实例 • 如果时效性要求高,建议采用SCC超级计算集群 5.可视化 • 如果可视化部分计算量不大,可以采用EHPC自带的可视化服务 解决问题 1.使用EHPC运行药物筛选应用 2.使用nas存储计算数据 3.使用OSS保存计算结果 • 通过分子对接(moleculardocking)模拟计算进行药物筛选,是模拟小分子配体和生物大分子受体的 相互作用,预测配体和受体的结合模式和亲和力。 • 通常,有很多已有的配体库,如商业化的Specs、Enamine和ChemDiv化合物库。提供大量配体,模 拟计算就是计算这些配体和给定受体的相互作用。 • 每次模拟计算通常处理一个配体和一个受体,不同配体之间没有依赖,因此可以同时大规模并行处 理。 本解决方案同样适用于有批量、高并发处理需求的其它生物、医药等场景。 产品列表 弹性高性能计算E-HPC 文件存储NAS 对象存储OSS
详见 https://www.aliyun.com/product/nas 对象存储 oss是海量、安全、低成本、高可靠的云存储服务,提供 99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处理 能力弹性扩展,多种存储类型供选择全面优化存储成本。详见 https://www.aliyun.com/product/oss 云速搭 CADT:是一款为...
来自: 最佳实践 | 相关产品:云服务器ECS,对象存储 OSS,文件存储NAS,弹性高性能计算E-HPC
文件存储CPFS
阿里云文件存储CPFS是完全托管、可扩展的并行文件存储系统。针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和百万级IOPS的数据读写请求。
阿里云存储标杆案例样板间上线啦.CPFS 智算版性能和容量监控告警功能上线.CPFS 智算版 400MB/s/TiB 性能基线邀测.NFS 协议服务取消最低启用容量限制.什么是文件存储 CPFS.创建 CPFS 文件系统.了解 CPFS 的计量项和计费方式.自动驾驶场景下,每台测试车每天将产生几十 TB 数据,针对这些数据需要进行快速分析。同时快速的...
来自: 云产品
视频网站的存储与媒体处理方案
基于阿里云服务提供高可靠存储和实时自动化服务的一种视频存储和处理解决方案,根据企业业务需求,支持视频存储、水印、转码、点播等能力。
产品解决方案文档与社区权益中心定价市场合作伙伴支持与服务了解阿里备案控制台视频网站的存储与媒体处理方案方案介绍方案优势应用场景方案部署方案权益视频网站的存储与媒体处理方案视频存储与处理服务解决方案是基于阿里服务提供高可靠存储和实时自动化服务的一种视频存储和处理解决方案。根据企业业务需求,支持...
来自: 解决方案
混合使用Ali-Perseus
混合<em>云</em>使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
混合使用飞天 AI加速工具 最佳实践 场景描述 部署架构 本文介绍了混合场景中,自建 Kubernetes服务,线下集群+上弹性扩 展阿里 GPU服务实例+飞天 AI加速工 具,并采用阿里 CPFS存储,运行 AI训 练+AI推理作业的操作步骤。解决问题 1.利用企业网打通两个地域的 VPC,自建 Kubernetes集群 阿里最佳实践分享群 ...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
数据库异地灾备
数据库异地灾备
场景描述 适用于不满足于单地域,对数据可靠性 (RPO)和服务可用性(RTO)要求更高 的,希望防范断电、断网等机房故障,抵 御地震、台风等自然灾害,具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份,RPO达到秒级 2.表级恢复,故障恢复时间大大缩短 3.长期归档,自动管理备份生命周期 4.异地灾备,构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP(EIP) 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
阿里云提供的海量、安全、低成本、高可靠的云存储服务。其数据设计持久性不低于 99.999999999%,文档版本:20220207 IV 数据库异地灾备 前言 服务设计可用性不低于 99.99%。具有与平台无关的 RESTful API接口,您可以在 任何应用、任何时间、任何地点存储和访问任意类型的数据。详见:...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据管理,数据湖分析,数据库备份DBS,云速搭CADT
EHPC混合渲染
EHPC混合<em>云</em>渲染
介绍在混合云环境下,利用E-HPC及其文件缓存机制,无缝读取线下存储中的项目资产,免去复杂繁琐的文件同步问题;充分利用云上资源弹性、按使用付费的优势,构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
E-HPC混合渲染最佳实践 场景描述 部署架构图:介绍在混合环境下,利用 E-HPC及其文件缓存 机制,无缝读取线下存储中的项目资产,免去复 杂繁琐的文件同步问题,充分利用上资源弹 性、按使用付费的优势,构建高性能、高可靠和 可扩展的渲染服务。解决问题 混合环境下本地集群与云端集群一体化的渲染 服务。避免繁琐...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网,GPU云服务器,弹性高性能计算E-HPC
自建K8S迁移镜像、应用至阿里ACK最佳实践
自建K8S迁移镜像、应用至阿里<em>云</em>ACK最佳实践
云原生技术K8S以其易管控,自动化操作,自修复等特点充分满足了企业的需求,越来越多的企业都加入容器化这个队伍中。但随着技术的更新迭代,自建的K8S相关的容器镜像服务、集群管理、稳定性保障也让企业IT人员感觉到压力,所以上云成了一些企业的选择,将底层的IAAS基础设施和K8S的基础PASS能力交给阿里云来管理,企业本身抽出更多精力聚焦业务的创新。针对以上需求通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK。 针对以上需求场景通过使用image-syncer、velero来介绍如何平滑、便捷的迁移自建的K8S镜像和应用至阿里云容器镜像服务和ACK;本文通过使用河源的ECS自建K8S集群和Harbor镜像仓库来模拟IDC环境
阿里 企业上云实践 自建 K8S迁移镜像、应用至 ACK 最佳实践 自建 K8S迁移镜像、应用至阿里 ACK 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 自建 K8S镜像、应用迁移阿里 ACK 文档编号 177 文档版本 V1.0 版本日期 2020-05-25 文档状态 内部发布 制作人 吉运 审阅人 川知/明誉 文档变更记录 版本编号 日期...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,容器服务 ACK,容器镜像服务 ACR
组建多可用区多地域的混合
组建多可用区多地域的混合<em>云</em>
场景描述 无特定行业属性,对云下有IDC的用户,上云建 立多地域多可用区高稳定性的业务架构,组建混 合云用户都可适用。物理专线是打通IDC到云上 内网通道的最高质量和稳定性最好方式,但成本 较高,交付周期长。 解决问题 云下用户IDC应对业务突增弹性扩容能力 不足; 云下用户IDC业务需要多地域冗余; 云上阿里云业务需要多地域冗余; 云上阿里云业务需要多可用区冗余. 产品列表 VPC,CEN,高速通道(专线),SLB,ECS
阿里下 IDC赋能-组建多可用区 多地域的混合(专线)最佳实践 文档版本:20210805 组建多可用区多地域的混合(专线)最佳最佳实践 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 为下 IDC赋能-组建多可用区多地域的混合(专线)最佳实践 文档编号 020 文档版本 V1.3 版本日期 2021-08-05 文档状态 外部...
来自: 最佳实践 | 相关产品:块存储,专有网络 VPC,云服务器ECS,云企业网,高速通道,云速搭
RI和SCU全链路使用实践
RI和SCU全链路使用实践
场景描述 随着云计算的不断发展,更多的企业会使用云计算,且会有越来 越多的企业和用户开始重视云上使用成本。 其中计算和存储是云资源使用的主要服务之一。采用预留实例券 业务架构(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。 本文提供全链路使用实践,帮助客户快速验证云上服务,更合理 的使用RI/SCU。借助覆盖率指标和智能推荐,有效管理云上资 源成本。 用户价值 使用RI 和SCU,可以灵活抵扣相关资源。随时创建释放, 稳态业务资源效率提高。 一份RI 可以抵扣ECS+ACK+EMR+ECI 等服务,跨服务高 度灵活,无需再分开购买。 SCU可以跨可用区抵扣某个地域下所有类型的按量付费云 盘,简化购买与管理复杂度。 RI+SCU 大幅降低按量场景的计算和存储成本。 产品列表 专有网络VPC、容器服务Kubernetes 版ACK 云服务器ECS、预留实例券RI、存储容量单位包SCU
RI和 SCU 全链路使用实践 业务架构 场景描述 随着云计算的不断发展,更多的企业会使用计 算,且会有越来越多的企业和用户开始重视上 使用成本。其中计算和存储资源使用的主要服务之一。采用预留实例券(RI)和存储容量单位包(SCU)可以帮助客户灵活的节省成本。本文提供全链路 使用实践,帮助客户快速验证上服务...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,容器服务 ACK,存储容量单位包,预留实例券
游戏数据运营融合分析
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户,无法 接受T+1延迟。 3.对数据成本有一定诉求的客户,希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析:依托ADB计算密集型实例, 秒级监控DAU等数据,为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析:打通结构化和非结构化 数据,支撑产品体验分析;广告买量投放效 果实时(分钟级)分析,渠道的评估更准确。 3.低成本:DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析,在满足各种分析场景需求的同时,有效 地降低的客户的总体使用成本。 4.学习成本低:DLA和ADB兼容标准SQL语 法,无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
全面提高日常数据运营工作效率,不仅提 供付费用户、付费率、付费金额和 ARPU等运营指标,强化了付费用户的留 率、回访率、用户生命周期价值等更加精细化的运营指标,游戏开发者可以更 加深入,更加有效率的掌握游戏运营状态。快速分析哪个渠道是有效渠道,使每分钱都花在刀刃上:实时的分渠道数据统 计可以监测不同...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,云原生数据仓库AnalyticDB My,数据湖分析,Quick BI
企业数据存储与备份解决方案
阿里云企业数据存储与备份解决方案,打破线下 IDC 数据孤岛,满足客户业务的数据合规性要求和多种数据源的快速备份恢复需求场景。
本方案基于阿里云的云存储能力和灾备统一管理平台,快速实现业务数据云上存储与备份,保障企业数据安全,满足多种数据源的快速备份恢复需求.企业数据面临意外丢失、病毒感染等安全风险.业务快速增长,短时间内无法快速扩容.数据格式多样,备份工具繁多,运维复杂.高 SLA 性能保障,满足安全需求和等保合规要求.资源弹性扩展...
来自: 解决方案
存储容量单位包SCU
阿里云存储容量单位包SCU是一种预付费存储售卖形态,可以用来抵扣多种不同类型云存储产品的按量付费账单。支持与多种云产品搭配使用,兼具性价比与资源使用的灵活性。可满足业务对存储灵活购买的需求,最多可节省67%的成本。
通过存储容量单位包统一抵扣,帮助该客户解决了弹性扩容、海量存储的需求,同时也帮助客户降低了云存储成本和管理成本.某美图社交软件.查看更多商品.“”享优惠火热来袭,存储全系产品百元包年.“”享优惠火热来袭,存储全系产品百元包年.存储容量单位包(Storage Capacity Unit,简称 SCU)是一种预付费存储售卖形态,...
来自: 云产品
存储EBS
阿里云块存储EBS是为云服务器ECS提供的低时延、持久性、高可靠的块级随机存储,拥有丰富的产品类型,多元的存储特性,适用于自建数据库加速,快照数据保护等场景,ESSD PL3规格最高可提供100万IOPS以及4000MB/S吞吐能力,有效提升存储性能,大大降低成本。
阿里云存储新品AutoPL现已正式商业化.如何创建应用一致性快照.了解如何快速购买和使用块存储.块存储云盘概述.了解如何创建块存储云盘.了解如何格式化数据盘.了解创建自动快照策略.块存储快照跨区域复制发布会.了解如何扩展云盘操作.了解如何压测ESSD云盘IOPS性能.了解如何使用快照回滚云盘.详细定价>.云盘基于多副本机制,...
来自: 云产品
混合HBR上备份VMware虚拟机
混合<em>云</em>HBR<em>云</em>上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案,可以为任何位置的客户虚拟机和数 据提供强有力的保护,包括企业数据中心、远程和分 支机构以及云上资源;支持加密、压缩、重删,保证 数据快速、安全、高效地备份到云上,本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
文档版本:20190716 25 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 步骤9 在选择存储页面,依据实际需要选择,本例使用在054中创建的NAS,选择安装磁 盘空间比较大的NAS上,然后单击下一步。步骤10在选择网络页面,为源网络选择目标网络(VMNETWORK),然后单击下一步。文档版本:20190716 26 混合云HBR...
来自: 最佳实践 | 相关产品:弹性公网IP,文件存储NAS,NAT网关,弹性裸金属服务器(神龙),混合云备份
容器存储解决方案
容器存储解决方案,适配云原生极致弹性、持久化数据共享、高可用、高性能的要求。
阿里云存储为容器持久化数据而生,提供了完善的容器存储应用场景和最佳实践,适配容器更加弹性的调度,更高的性能和更优化的成本要求,完美应对容器存储的挑战.容器存储解决方案技术解析.容器存储解决方案技术解析.容器存储蓝皮书下载.容器存储采用标准插件无缝接入 Kubernetes 中进行编排和调度,为容器用户提供微服务、...
来自: 解决方案
企业用户多账号合并之存储迁移集中
企业用户多账号合并之<em>存储</em>迁移集中
场景描述 本文介绍使用在线迁移服务,将分布在各个云 账号中的对象存储、文件存储数据集中到一个 账号的对象存储或文件存储下。 解决问题 1.安全治理需求,统一的账户体系、身份、权 限及资源管理。 2.业务系统相互访问,数据统一需求。 3.系统架构及资源成本优化需求,多账号下的 带宽、流量、存储包等资源整合优化。 4.企业或部门合并时云账号的合并。 产品列表 RAM OSS NAS 在线迁移
详见:https://www.aliyun.com/product/vpc OSS:阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成 本、高可靠的云存储服务,提供 99.9999999999%(12个 9)的数据持久性,99.995%的数据可用性。多种存储类型供选择,全面优化存储成本。详见 https://www.aliyun.com/product/oss NAS:是一个可大规模共享...
来自: 最佳实践 | 相关产品:对象存储 OSS,文件存储NAS,访问控制,云速搭
游戏业务分区合服
游戏业务分区合服
概述 为了提高游戏玩家的体验,并提高留存率,增强付费率.除了游戏本身的内容趣味性外, 改善用户访问加速体验,并对游戏数据分区合服是很常见的业务运营场景. 本方案适用于: 1游戏业务运营,对多个分区数据库进行合并,增加付费用户积极性的需求. 2游戏业务加速,中心化部署的网络加速需求. 方案优势 1便捷数据迁移. 2内网安全传输 3加速远端用户访问质量体验 4快速应对上层业务运营的技术实现操作. 产品列表 网络产品:VPCSLBNAT网关CEN共享带宽包EIP全球加速GA 计算产品:ECS 数据库产品:RDSDTS 存储产品:OSS 云解析
阿里云对象存储服务(简称 OSS),是阿里云提供 的海量、安全、低成本、高可靠的云存储服务。您 Object 可以通过调用 API,在任何应用、任何时间、任何 OSS Storage 地点上传和下载数据,也可以通过 Web 控制台 Service 对数据进行简单的管理。OSS 适合存放任意类型 的文件,适合各种网站、开发企业及开发者使用。按实际...
来自: 最佳实践 | 相关产品:云数据库RDS MySQL 版,对象存储 OSS,数据传输,NAT网关,云企业网
微服务应用问题定位及故障演练
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署, 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮, 容器编排配置是否合理, 以及节点故障引 发的问题等, 方案通过 AHAS 故障注入模拟生 产环境产生的故障, 通过 ARMS 及时发现问题、 定位问题, 并结合 ARMS 的告警功能快速发现 并解决问题。  发现调用下游一个服务实例出现异常。  发现业务 Pod 故障, 验证业务的稳定性。  发现调用数据库延迟故障, 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表  应用高可用服务 AHAS  性能测试 PTS  应用实时监控服务 ARMS  容器服务 kubernetes 版  负载均衡 SLB  专有网络 VPC  日志服务 SLS
微服务应用问题定位及故障演练 最佳实践 业务架构图 场景描述 用户微服务架构应用基于阿里 ACK部署,通 过 ARMS监控发现微服务应用的容错能力是否 健壮,容器编排配置是否合理,以及节点故障引 发的问题等,方案通过 AHAS故障注入模拟生 产环境产生的故障,通过 ARMS及时发现问题、定位问题,并结合 ARMS的告警功能快速...
来自: 最佳实践 | 相关产品:容器服务 ACK,日志服务(SLS),性能测试 PTS,应用实时监控服务 ARMS ,应用高可用服务 AHAS,云速搭
< 1 2 3 4 ... 6 >
共有6页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用