CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
ssh root@{utility节点公网 ip} 由于 replication manager部署在工具节点上,需要添加 CDH和 CDP的 host解析 。Host信息可以在 CDH和 CDP的控制台查看(CDP同时配置长域名和短域名)。chattr-i/etc/hosts echo"192.168.10.205 master">>/etc/hosts echo"192.168.10.207 slave1">>/etc/hosts echo"192.168.10.208 slave2">...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,云速搭
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
4.Flume中和 Kafka、HDFS相关的安全 。产品列表:E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本:20200330 文档...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
自建ElasticSearch迁移阿里云
自建ElasticSearch迁移阿里云
场景描述 以ElasticSearch为例,演示搭建模拟业务系统、 VPN网关和IPSecVPN隧道,介绍如何通过快照 的方式,将ElasticSearch索引数据安全备份到 阿里云OSS存储空间,以及介绍如何将备份在 OSS的快照仓库恢复到阿里云ElasticSearch实 例,进一步达到ElasticSearch迁移上云的目的。 解决的问题 自建ElasticSearch的云上/跨云备份需求。 自建ElasticSearch迁移到阿里云 ElasticSearch服务实例。 产品列表 VPC,ECS,VPN网关,OSS,阿里云ElasticSearch,云速搭CADT
网络和交换机(架构图左:华东2上海)类别 配置项 说明 专有网络 名称 客户 IDC-VPC IPv4网段 推荐网段 192.168.0.0/16 交换机 名称 vswitch-az-g 可用区 上海 可用区 G(可根据库存选其他可用区)IPv4网段 192.168.100.0/24 ECS实例 类别 配置项 说明 基础配置 ECS名 ecs-magento 支付方式 后付费 地域 华东 2(上海)可用...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,Elasticsearch,云速搭
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
b(可根据库存选其他可用区)IPv4网段 192.168.20.0/24 ECS实例 类别 配置项 说明 基础 ECS名 ecs-hadoop 支付方式 后付费 地域 华东 2(上海)可用区 g 实例 ecs.c5.xlarge(4c 8g)购买实例数 8台 量 说明:1台用于安装日志发生器,1台用于安装 Kafka,5台 用于安装 Hadoop,1台用于安装 MySQL。镜像 选择公共镜像。...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
普通安全组 规则 ingress 允许 全部 ICMP/-1/-1 目标 IP 0.0.0.0/0 规则 ingress 允许 自定义 TCP/SSH(22)目标 IP 0.0.0.0/0 EMR 类别 配置项 说明 集群 集群名称 EMR-cluster-hangzhou 集群类型 HADOOP 产品版本 EMR-3.22.4 付费类型 后付费 实例选型 实例数量 1 Master 当前机型 ecs.hfg6.xLarge 实例 系统盘配置 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件,广泛用于日志收集和分析、数据处理等场景。可提供全托管服务,用户无需部署运维,更专业、更可靠、更安全。
全托管开箱即用,兼容主流开源版本和多语言客户端,支持一键升降、订阅关系可视化、消息查询回溯、数据大盘和监控告警.领先的高 SLA 保障.支持灰度升级、升级/拖冷数据等极端场景写优化保障;全自动巡检运维体系保障,服务可用性达 99.95%,数据可靠性达 99.999999%.支持丰富的数据生态.提供全托管、免运维 Connector,...
来自: 云产品
HTTPHTTPS 让网站更安全
用户使用HTTP请求访问网站域名,通常会存在安全风险。为了解决该问题,需要网站支持HTTPS协议访问。HTTPS协议可以防偷窥、防篡改及完成服务端身份验证等,保证请求全链路的数据访问安全。本方案介绍如何在ECS上搭建Web应用以及在Nginx服务器上部署SSL证书开启HTTPS安全访问。
架构与部署 从 HTTPHTTPS 让网站更安全 本方案创建ECS实例并完成Web服务的部署,然后在数字证书管理服务控制台申请并下载SSL证书,登录ECS服务器后部署SSL证书从而实现网站HTTPS访问。立即部署 50分钟 如果您已有web应用,可以申请免费证书,按照手动部署教程免费体验本方案。如果采用一键部署,会额外产生ECS抢占式...
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理,可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性,切实起到监管效力,规避潜在风险。
立即部署 55分钟 免费(资源目录、配置审计均为免费产品)资源管理 配置审计 云服务器 ECS 云企业网 Web应用防火墙 对象存储 应用场景 技术方案的广泛应用场景 高效实施企业内控基线 企业为保证经营活动的有序运行,保障IT服务的稳定性和合规性,通常会对IT服务制定相关管控措施,来进行监督和审计。法规及行业标准预检 ...
灵活配置,高效执行,快速集成分布式任务调度
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务,对于任务配置和执行率有较高要求,本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理,为定时任务提供高效、稳定和灵活的解决方案。
企业级应用中经常会遇到数据定时处理、文件处理、报表生成等定时处理的任务,对于任务配置和执行率有较高要求,本文介绍如何利用SchedulerX来实施企业级定时任务的调度与管理,为定时任务提供高效、稳定和灵活的解决方案。灵活配置,高效执行,快速集成分布式任务调度 企业级应用中经常会遇到数据定时处理、文件处理、报表...
数字证书管理服务(原SSL证书
阿里云为您提供证书服务,在云上签发DigiCert、GlobalSign、GeoTrust、CFCA、WoSign证书,实现网站HTTPS化,使网站可信,防劫持、防篡改、防监听。并对云上证书进行统一生命周期管理,简化证书部署,一键分发到云上产品。
数字证书管理服务(原SSL证书).数字证书管理服务集云上SSL证书生命周期管理和数字证书应用为一体的SAAS服务。该服务具备签发、管理服务器证书和各类终端证书的能力,同时提供云上证书自动化应用部署的解决方案,便于客户轻松实现数据传输加密和信源加密,保障数据安全.多云部署能力发布:支持腾讯云 及 AWS多款云产品部署...
来自: 云产品
配置审计
配置审计(Config)是阿里云上IT系统治理服务。将您分散在各地域的资源整合为全局资源列表,您可以便捷地搜索全局资源。同时Config帮助您记录云上IT资源的配置变更历史,持续自动地评估云上资源配置的合规性,实现云上IT合规治理。
配置审计(Config)是云上IT系统治理服务。将您分散在各地域的资源整合为全局资源列表,您可以便捷地搜索全局资源。同时帮助您记录云上IT资源的配置变更历史,持续自动地评估云上资源配置的合规性,实现云上IT合规治理.频道页banner.谢赟辉,靖鑫,也树.通用icon文字列表.将各区域的资源整合为一份 完整清单,并支持搜索资源....
来自: 云产品
注册配置中心
注册配置相比开源版,Nacos 和 Zookeeper 商业版具有更强的性能和 SLA 保障,并提供了丰富完善的监控报警、简单易用的控制台运维操作。
支持多维度的报警规则配置,提供钉钉/电话/短信/企业微信/飞多种通知方式,以及排班管理功能.为 RAM 用户或角色设置实例、命名空间、Group、ServiceName/DataId 等不同粒度的访问权限,可基于 KMS 对配置进行加密,防止重要信息被非法获取或修改.自动巡检扫描集群容量、版本以及高可用等指标的风险情况,提供处理方案,并...
来自: 云产品
云上持续审计合规最佳实践
云上持续审计合规最佳实践
本方案是面向云上资源的操作审计和配置审 计,提供的最佳实践。适用于企业型客户。通过最佳实践帮助客户在本场景下更好的使用 阿里云,涉及到配置审计、操作审计、函数计算、SLS、OSS 等服务的实践操作。 解决问题 企业会面临外部对企业云上信息系统的合规要求,如等保2.0法规要求。 同时当云上资源达到一定规模时,在内部会制定合规管控的基线,满足自身管理效率和安全合规的需 求。 包括记录云上资源管理的操作日志、资源配置变更日志,还需依赖云平台提供的持续监控和自动告警能力,实现合规性的自主监管。
云上持续审计合规 最佳实践 业务架构 场景描述 企业会面临外部对企业云上信息系统的合规要求,如等 保 2.0法规要求,同时当云上资源达到一定规模时,在 内部会制定合规管控的基线,满足自身管理效率和安全 合规的需求,包括记录云上资源管理的操作日志、资源 配置变更日志,还需依赖云平台提供的持续监控和自动 告警能力,...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,函数计算,操作审计,配置审计
云上IT治理workshop
云上IT治理workshop
假设您负责假设您负责一家集团公司的IT 基础设施,集团 旗下有多个分公司(如制造分公司和销售分公 司),各分公司有独立的开发、测试以及运维团 队。现在选择阿里云作为合作伙伴,拟达到以下 业务目标: 1. 各个分公司拥有独立的账号,可以购买云资 源,由集团账号统一付费。 2. 集团对各个分公司的账号以及权限拥有管理 权限。 3. 网络资源由独立的平台账号统一规划和创 建,分配给各个公司使用。 4. 集团对分公司账号具有配置管理和操作审计 权限。 5. 各分公司内部独立管理账号权限以及资源。
(详见访问配置概述)步骤1 登录云 SSO 控制台,访问配置管理页面,单击创建访问配置https://cloudsso.console.aliyun.com/cn-shanghai/access-configs)步骤2 创建访问配置 AdministratorAccess 文档版本:20210909(发布日期)15 云上 IT治理 Workshop 构建集团组织架构 文档版本:20210909(发布日期)16 云上 IT治理 ...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,访问控制,操作审计,资源管理,配置审计
企业构建统一CMDB数据源
企业构建统一CMDB数据源
典型场景 l 企业/ISV构建多云CMDB平台,对接数十款产品的API,拉取、清洗、格式化、存储配置数据是复杂且高成本的工作。 l 企业日常的资源管理,需依赖资源配置历史、资源关系数据进行故障溯源和影响评估。 解决方案 l 企业管理账号设置Config配置数据投递,将所有账号的资源配置快照和历史归集到统一地址留存。 l 使用OSS做长期归档,使用SLS做实时分析和监听。获取全量资源数据并及时感知云上资源的变更。 l 将数据集成到自有CMDB平台 客户价值 l 基于配置审计简单便捷的持续收集云上资源配置数据,在自建CMDB过程中节省大量人力和时间成本。 l 跨账号统一收集数据,实现中心化的资源配置管理。 l 实现资源配置数据的持续收集和监听,及时感知云上资源的增删改,洞察异常变更。
文档版本:20210827 13 企业构建统一 CMDB数据源 资源创建和操作(成员账号)注意:日志服务的命名必须全局唯一,比如这里的 config-delivery 我们也可以新建空白应用,根据资源规划,手工创建架构图,详细步骤请参考使用文 档《构建应用架构》:https://help.aliyun.com/document_detail/186134.html步骤4 配置完成,保存...
来自: 最佳实践 | 相关产品:云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务(SLS),配置审计
多账号下企业分账
多账号下企业分账
场景描述 财务分账,是根据企业的成本中心,将云上资源的成本划分到给各个项目组/业务部门;助力企业快速梳理云上成本结构,搭建复杂组织架构下的成本关系,便捷地进行财务和云上成本的管理。 大型企业或集团公司,由于组织架构复杂,业务复杂等原因,通常拥有多个阿里云账号来管理规模庞大的云上资源。针对云上资源,如何建立有效的分账方案,是财务关注的重要问题。 解决问题 解决CIO/CTO最关心的云上IT治理,IT成本核算等问题。 弄清楚企业内各部门成本及云上IT成本结构。 让CIO/CTO准确地掌握云上资源成本情况,清楚业务与成本的关系。 让采购/运维轻松搞定每月的IT成本汇报。
组 高可用 是-部署方式 2 master-实例选型配置 实例组:Master实例-文档版本:20210128 36 多账号下企业分账最佳实践 资源规划清单 实例数量:2 当前机型:ecs.g6.xlarge(4c 16g)系统盘配置:cloud_essd 系统盘大小:120 数据盘配置:cloud_essd 数据盘大小:80 实例组:Core实例-实例数量:2 当前机型:ecs.g6.xlarge...
来自: 最佳实践 | 相关产品:资源管理,配置审计,云速搭CADT
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用