自建Hadoop迁移到阿里云EMR
自建Hadoop迁移到阿里云EMR
场景描述 场景1:自建Hadoop集群数据(HDFS)迁移到 阿里云EMR集群的HDFS文件系统; 场景2:自建Hadoop集群数据(HDFS)迁移到 计算存储分离架构的阿里云EMR集群,以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案; 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
付费模式:按使用流量 带宽:100 Mbps 文档版本:20210714 5 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 说明:(1)在您业务商用过程中,建议选用弹性公网 IP和共享带宽包、共享流量包的组合降低公网流量使 成本;(2)在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载,在环境搭建完 ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
数据安全解决方案
数据是企业的核心资产,如何保护企业的云上数据,是每个企业管理者都应当重视的课题。在云平台提供更为安全便捷的数据保护能力的同时,阿里云根据自身多年的经验积累,结合大量云上客户的最佳实践,提供了一套完整的数据安全解决方案,帮助企业提升云上数据风险防御能力,实现企业核心及敏感数据安全可控。
“终端”是各类实现数据采集、输入和使用的用户交互设备,如APP、网页、应用程序等.数据安全中的“云管端”.安全能力“云、管、端”.数据采集阶段是组织内部系统中新产生数据,以及从外部系统收集数据的阶段。如何保证海量数据的安全可治理,是这一阶段的重点.数据采集阶段.数据安全中心服务.数据传输阶段是数据从一个...
来自: 解决方案
云数据库MongoDB版
阿里云云数据库MongoDB版是完全兼容MongoDB协议、高度兼容DynamoDB协议的在线文档型数据库服务。支持单节点、双节点、副本集和分片集群四种部署架构,能够满足不同的业务场景需要。
MongoDB 新增支持云盘通用规格,价格下降30%以上.MongoDB 新增支持ESSD AutoPL存储类型.MongoDB 6.0 版本发布详情.MongoDB 4.4/5.0/6.0 版本支持高频备份和秒级备份.近期重要发布.单节点规格是阿里云为数据容错性高的场景打造的一款产品,适合非核心数据的存储,单节点架构保障系统高性价比,适合测试环境、学习培训、企业...
来自: 云产品
基于MaxCompute的大数据BI分析
基于MaxCompute的大数据BI分析
场景描述 本文以电商行业为例,将业务数据和日志数据使用 MaxCompute做ETL之后,同步到ADB进行实时 分析,之后通过QuickBI进行快速可视化展示。 解决问题 1.互联网行业、电商、游戏行业等网站、App、 小程序应用内BI分析场景。 2.可扩展到各类网站BI分析场景使用。 产品列表 1.MaxCompute 2.分析型数据MySQL版 3.日志服务SLS 4.QuickBI 5.云服务器ECS 6.RDSMySQL版
40G EIP配置:配置项 说明 EIP名称 eip-bp106 商品类型 按付费 线路类型 BGP(多线)网络类型 公网 流量流量计费 带宽峰值 10Mbps RDS配置:配置项 说明 实例名 rds-bp106 支付方式 按付费 类型 MySQL 版本 5.7 系列 基础版 存储类型 SSD云盘 部署方案 单可用区部署 实例规格 mysql.n2.large.1(4C 8GB(通用型))...
来自: 最佳实践 | 相关产品:日志服务(SLS),大数据计算服务 MaxCompute,云原生数据仓库AnalyticDB My,Quick BI,云速搭CADT
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
付费模式:按使用流量 带宽:100 Mbps 说明:(1)在您业务商用过程中,建议选用弹性公网 IP和共享带宽包、共享流量包的组合降低公网流量使 成本;(2)在环境搭建过程中分配公网 IP地址仅 用于 SSH登录和必要的软件包下载,在环境搭建完 成之后,建议释放部分公网 IP地址。安全组 使用默认安全组,并勾选 80,443,22,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
同地域跨可用区容灾
同地域跨可用区容灾
场景描述 面向阿里云公共云客户, 1.业务在同一个地域(Region) 2.应用已经无状态 3.在不大幅增加成本的情况下,希望获得支持业务的跨可用区(Zone)容灾能力 3.希望对整体的应用做容灾备份(简称容灾),而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器(ECS)、数据库(RDS)、专有络(VPC)、负载均衡(SLB)、消息队列(MQ)等
可用区 北京 可用区 C 同一地域 区部署 计费方式 按付费 两台 ECS)实例规格 4 核 CPU,16GB 内存 云上业务系统规格按照原规格购买 操作系统 CentOS 6.4 64 位 硬件配置:存储空间 系统盘 100GB 硬件配置:存储类型 高效云盘 购买数量 1 初始 root 用户密码 创建成功后由业务方分别登录修改密*码 实例名/主机名 DR001 ...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,访问控制
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
多台云服务器进行流量分发的负载均衡 服务,可以通过流量分发扩展应用系统对外的服务能力,通过消除单点故障提升 应用系统的可用性。EIP:弹性公网 IP(Elastic IP Address),简称 EIP,是一种 NAT IP。它实际位于 阿里云的公网网关上,通过 NAT方式映射到了被绑定的云资源上。和云资源绑定 后,云资源可以通过 EIP与公网...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
企业上云数据安全
企业上云数据安全
场景描述 企业是否选择上公共云,或者哪些系统或数据上 公共云,对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴,即首先使用SDDP产品进行敏感数据发 现和分级分类,然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
专有网络 类别 配置项 说明 专有网络 名称 VPC_Datasec IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vswitch-az-h 可用区 杭州 可用区 H IPv4网段 192.168.0.0/24 ECS 类别 配置项 说明 基础配置 计费方式 按付费 地域 华东 1(杭州)可用区 H 实例 架构:x86计算 分类:通用型 规格:通用型 g5 ecs.g5.large(2 vCPU,8...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,密钥管理服务,敏感数据保护,云速搭CADT
基于Elasticsearch的订单检索加速最佳实践
基于Elasticsearch的订单检索加速最佳实践
随着企业信息化程度越来越高,核心业务数据存储在传统关系型数据库中不可避免地会遇到一个问题:单表记录不断增多,数据检索速度会变慢,尤其是对中文的模糊查询(建立普通索引完全不起作用)。虽然数据库自身在不断完善,但效果有限且没办法灵活扩展,复杂场景无法应对。 本方案基于阿里云Elasticsearch作为二级索引库,数据集成产品提供Binlog实时订阅,实时解析、增量数据实时更新及二级索引库之间进行数据实时同步,为数据库提供“能力增益”, 不仅能从根本解决主库抗压问题,提升稳定性;同时支持高效率、高性能、高弹性、低成本、多复杂场景的检索加速服务。
配置项 说明 付费模式 按付费 选择服务 阿里云 Elasticsearch 通用商业版 7.10 场景初始化配置 通用场景 配置完成,单击下一步:集群配置。文档版本:20210517 17 基于 Elasticsearch的订单检索加速最佳实践 配置大数据组件 步骤4 在集群配置页面,完成以下配置,并单击下一步:网络与系统配置。配置项 说明 地域和可用 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,DataWorks,Elasticsearch
企业办公安全访问一体化
企业办公安全访问一体化
本场景模拟企业办公环境,基于 CSAS 服务构 建企业办公安全一体化方案,将“安全 + 网络” 能力无缝融合,实现了对云下办公终端安全的统 一管理,企业无需在投资复杂且昂贵的传统硬件 安全设备,即可快速构建安全、可靠、低成本的 办公安全防护体系。 1. 企业办公环境访问互联网的安全管理 2. 企业办公环境访问内网服务的安全管理 3. 企业办公网络、安全一体化管理
应用范围 通用行业,具有集团/分支机构的企业客户。名词解释  专有网络VPC:VirtualPrivateCloud,简称VPC,是基于阿里云创建的自定义私 有网络,不同的专有网络之间二层逻辑隔离。您可以在自己创建的专有网络内创 建和管理云产品实例,比如ECS、负载均衡、RDS等。在部署云资源前,您需要 结合具体业务,规划VPC和交换机...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云安全访问服务
混合云使用Ali-Perseus
混合云使用Ali-Perseus
场景描述 本文介绍了混合云场景中,自建 Kubernetes服务,线下集群+云上弹性扩 展阿里云GPU服务实例+飞天AI加速工 具,并采用阿里云CPFS存储,运行AI训 练+AI推理作业的操作步骤。 解决问题 1.利用云企业网打通两个地域的VPC, 自建Kubernetes集群 2.使用飞天AI加速工具运行训练和推理 作业 3.使用CPFS存储共享数据 产品列表 云企业网CEN GPU云服务器 并行文件存储CPFS 文件存储NAS
类别 配置项 说明 基础配置 计费方式 按付费 地域 华东 2(上海)可用区 G 实例 架构:x86计算 分类:通用型 19 混合云使用飞天AI加速工具 创建 ECS实例 规格:通用型 g6 ecs.g6.large(2 vCPU,8 GiB)购买实例数量:1 台 镜像 公共镜像 CentOS 7.6 64位 存储 系统盘 高效云盘 120 GiB 说明:建议系统盘至少 120GB。...
来自: 最佳实践 | 相关产品:云服务器ECS,文件存储NAS,云企业网
超级计算集群实现自然语言处理训练
超级计算集群实现自然语言处理训练
场景描述 本方案适用于自然语言训练场景,使用神龙 GPU云服务器(SCCGN6)+CPFS进行NLP的 训练,采用Bert模型。这里不使用容器,直接 使用裸机进行NLP的Bert训练,使用飞天AI加 速训练工具可以有效提升多机多卡的训练效率。 解决问题 使用神龙GPU云服务器搭建NLP训练环 境 使用SCC的RDMA网络 使用CPFS存储训练数据 使用飞天AI加速训练工具加速训练 产品列表 神龙GPU云服务器(SCCGN6) SCC超级计算集群 CPFS共享存储
AIACC针对阿里云环境进行了深度优化,核心代码是多框架共享的,各框架的支 持均包含以下功能: 梯度融合通信的自适应多,自适应梯度融合,对带宽密集的网络模型,性 能提升显著(提升50%至300%)。 高度优化的梯度协商机制,将大规模节点下梯度协商的开销降低一到两个数 量级。 分级的Allreduce,同时支持FP16的...
来自: 最佳实践 | 相关产品:文件存储NAS,超级计算集群
弹性计算OOS审批流程自动化运维
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例,介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程,并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API,通过OOS模板执行运维 任务,实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理, 无需担心操作安全,并可以快速增加审批流 程,提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
参数 etworkTyp VPC 经典网咯或VPC e dBInstanc 数据库容量 20 eStorage securityIP RDS实例白名单 192.168.0.0/16 List rdsPayTyp RDS付费类型:Postpaid e Postpaid:后付费(按 文档版本:20191122 42 弹性计算OOS审批流程自动化运维 使用OOS部署及配置系统 付费)Prepaid:预付费( 年包月)负载均衡实例的网络 类型...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,负载均衡 SLB,运维编排
互联网业务全球化互通组网
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户,希望借助全球 互通的网络,实现多地域的互通。 同时在全球互联的网络下,搭建应用多地部署。如果 业务中涉及到高速通道,提供高速通道迁移云企业网 的操作演练;涉及到跨账号多VPC下的数据迁移和 同步,本方案提供详细的操作步骤,帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通,特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网(CEN)、云服务器(ECS)、数据库(RDS)、 数据库(Redis)、数据传输(DTS)、负载均衡(SLB) 块存储、专有网络(VPC)
配置项 说明 计费方式 按付费 地域 华南 1(杭州)类型 MySQL 5.6 系列 高可用版 存储类型 本地 SSD盘(推荐)可用区 多可区(可用区 D+可用区 E)实例规格 2 CPU(核),4GB(通用型)rds.mysql.s2.large(2核 4GB)存储空间 50GB 配置完成,单击下一步:网络和资源组。文档版本:20191217 23 互联网业务全球化互通组网...
来自: 最佳实践 | 相关产品:块存储,云服务器ECS,云数据库RDS MySQL 版,数据传输,云企业网
云上高并发系统改造
云上高并发系统改造
场景描述 随着业务的发展,系统并发压力越来越大,如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景,提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景: 1.系统并发压力大,需要进行系统应用改造。 2.数据层并发压力大,需进行分库分表改造。 3.数据库数据量巨大,亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段,我们除了通过SLB做负载 均衡外,我们可以通过SLB下挂nginx的方 式,增加负载均衡侧的可扩展性 2.在数据库拆分阶段,在做好数据规划后,我 们借助DTS进行数据迁移,通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
或已保有,本最佳实践新购交 换机)vswitch名 Vswitch-G 可用区 华东 2 可用区 G IPv4网段 192.168.2.0/24 EIP EIP名称 EIP 用来绑定运维 ECS 支付方式 按付费 公网带宽 按流量付费 按付费 文档版本:20220506(发布日期)52 云上高并发系统改造 附录2 资源清单 带宽 5Mbps ALB ALB名 Alb 支付方式 按付费 Ip模式 ...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,数据传输,云解析 PrivateZone,云原生分布式数据库PolarDB-X,云速搭CADT
基于k8s多集群隔离环境下的devops实现
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称,并通过工具实现自动化部署, 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起,devops重要性日益显著。 本方案使用两个独立的k8s集群: 用户已有的k8s模拟测试,ack集群模 拟生产环境,保证环境的高度隔离,互 不影响。通过gitlab+Jenkins的黄金组 合,实现容器应用的自动化构建和持续 部署,提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
说明:为便于演示,本实践只创建两个 worker节点,在实际生产环境中,要根据实际 资源使用,再加上冗余来决定 worker节点数量。文档版本:20220121 26 基于 K8S多集群隔离环境下的 DevOps实现 创建生产环境下的 K8S集群 步骤5 组件配置,可以按照默认配置,本示例中为了简化操作,不使用日志服务。文档版本:20220121 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,弹性公网IP,容器服务 ACK,容器镜像服务 ACR
基于弹性供应组构建大数据分析集群
基于弹性供应组构建大数据分析集群
场景描述 基于弹性供应组(APG)搭建spark计算集 群,提供一键开启跨售卖方式、跨可用区、 跨实例规格的计算集群交付模式的实践。 方案优势 1.超低成本:跨售卖方式提供计算实 例,按秒计费,可全部使用spot实例 交付,最高可省90%成本。 2.稳定可靠:跨可用域、跨实例规格, 降低spot被集体释放的风险;自动托 管,分钟级巡检,动态保证集群的算 力。 3.快速交付:单次可在5分钟内交付 2000个实例。 4.多策略组合:可分别指定spot和按量 实例的交付策略,以及差额补足的策 略,包括成本最低、打散和折中。 解决问题 1.大规模计算集群成本高。 2.创建ECS实例方式单一,无法跨计费 方式、可用区及规格等核心参数。 3.当可用区资源紧张,无法自动保证基于 spot类型的稳定算力。 产品列表 专有网络VPC 云服务器ECS
集群计算能力规划 基于降成本的需要,您可以使用弹性供应组同时开出抢占式实例和按付费实例, 过搭配使用两种计费方式,保证满足最低计算力,同时降低获得更高计算力时的成本。供应组内实例可全部使用 spot实例交付,最高可省 90%成本。在搭建 spark集群前,预估计算容量,例如:类别 CPU core 总算力 48 core 按计费...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,弹性公网IP
资源管理
资源管理
场景描述 随着企业IT成熟度不断提高、管理的云上资源 不断增多,如何对资源进行高效管理的问题就会 凸显出来。阿里云的资源管理服务支持您按照业 务需要搭建适合的资源组织关系,使用目录、资 源夹、账号、资源组分层次组织与管理您的全部 资源,更好的实现项目成功。 解决问题 1.按照企业组织结构管理账号体系。 2.指定结算账号进行统一结算 3.统一管理成员账号权限系统 4.账号下的资源按照资源组进行分类 5.可以按照自定义财务单元进行分账管理 产品列表 资源管理
计费模式:按使用流量 公网带宽:5Mbps 安全组 选择默认安全组。配置完成,单击下一步:系统配置。文档版本:2021-07-12 24 资源管理 资源目录 步骤5 在系统配置页面,参考下表示例说明,配置相关参数。配置项 说明 登录凭证 自定义密码 登录密码 按要求设置登录密码。说明:记录下设置的登录密码,后续登录要用到。确认...
来自: 最佳实践 | 相关产品:资源管理
Openstack迁移DDH
Openstack迁移DDH
场景描述 在线下IDC中,很多用户使用OpenStack构建云环境,本 文介绍如何将线下IDC中基于OpenStack构建的云服务器 迁移到阿里云专有宿主机(DDH)上,从而实现业务平滑 上云的同时,显著降低成本。 解决问题 1.如何将OpenStack中的云服务器迁移 DDH上。 2.如何使用DDH构建云上环境。 产品列表 专有宿主机DDH 对象存储OSS 服务器迁移中心SMC 专有网络VPC
公网IP 勾选分配公网IPv4地址 带宽计费模式 按使用流量 带宽峰值 5Mbps 安全组 默认安全组,确认放行22端口、3389端口和ICMP协议。配置完成,单击下一步:系统配置。系统配置。配置项 说明 登录凭证 使用镜像预设密码 实例名称 自定义,本实践设置为“cirros001”。主机名 自定义,本实践设置为“cirros001”。配置完成,...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,专有宿主机
智能应对流量变化,容器化集群的弹性攻略
本方案使用ALB和ACK智能分配网络流量,提高应用的高可用性和吞吐量,使用Kubernetes的cluster-autoscaler社区开源组件以及HPA内置组件进行弹性伸缩,提升资源利用率。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台容器化集群的弹性攻略容器化应用的弹性伸缩方案介绍方案优势方案部署方案权益智能应对流量变化,容器化集群的弹性攻略本方案使用应用型负载均衡(ALB)和容器服务 Kubernetes 版(ACK)智能分配网络流量,提高应用的高可用性和吞吐,使用...
来自: 解决方案
< 1 2 3 4 >
共有4页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用