自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
步骤1 登录到 BDS控制台 步骤2 选择创建 Hbase实时数据同步任务 文档版本:20210723 38 自建Hadoop迁移MaxCompute Hbase表数据迁移到云数据库 Hbase 步骤3 查看创建完成的数据同步通道 步骤4 明天白天查看数据同步进展 查看 Azkaban任务的执行状态,可以看到在凌晨 1点成功执行了定时任务,结果 是将 HiveSQL的查询结果...
来自: 最佳实践 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
基于DDH+MyBase降本合规
基于DDH+MyBase降本合规
出版、金融、保险等传统行业一方面希望能借助云计算以更好地适应业务发展需求(政策上云),另一方面出于对降低单实例部署成本(CPU 超分超配)以及满足更严格合规和监管要求的考虑,希望能对云上资源有更多的自主控制权(监管合规)。从业务系统架构云上部署的角度,基于专有宿主机DDH 和云数据库专属集群MyBase 的解决方案,可以很好地满足这两方面的需求。 解决问题: 1. 国家政策上云趋势和需求 2. 更严格的云上安全合规要求 3. 对云上资源有更灵活的管控权 4. 有效降低企业上云的整体拥有成本(TCO) 方案优势: 1、单租户隔离 DDH和 MyBase都可以提供宿主机级别物理隔离,可以独占资源,可以开放更多接口 , 同时杜绝 多租户间 干扰 。 2、安全合规:在完备的隔离基础之上,开放更多数据库权限和 OS权限 。 3、资源灵活部署和调度 创建 ECS实例、从共享宿主机迁移 ECS实例至专有宿主机或在专有宿主机之间迁移 ECS实例时,若您不指定专有宿主机,系统将自动帮您选择专有宿主机部署实例。 针对于初始部署数据库实例时,提 供紧凑型和均衡型两种方式将数据库实例分不到不同的主机上。 4、超配 降本 DDH和 MyBase组合的方式可以实现资源自定义 CPU内存 配比以及CPU超分 ,可以降低单 ECS实例以及云数据库实例的部署成本。
创建 MySQL实例 主机添加完成之后,需要在主机上创建相应的 RDS实例,由于选择的是 MySQL专属 集群,因此在主机上部署 MySQL数据库(和云数据库 RDS for MySQL部署过程一 致)。步骤1 点击 实例列表→创建实例 文档版本:20220414 20 基于 DDH+MyBase降本合规最佳实践 ECS部署业务系统 本实践选择 MySQL 5.7版本,2核 4G...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,负载均衡 SLB,弹性公网IP,专有宿主机,云数据库专属集群MyBase,云速搭
基于MyBase构建自主可控数据库和高弹性应用实践
基于MyBase构建自主可控<em>数据库</em>和高弹性应用实践
一些企业级客户上云前,会重点关心数据库是否自主可控,包括云资源独享、自主可运维、获取OS 权限等特点,同时又要兼顾数据库合规性、安全性和高性能的要求;并力求在业务弹性下合理利用云产品降低数据和应用成本,弹性地支持业务。本实践为此类用户提供相关实践参考。
如有需要,可以先将会话记录等状态信息保存到独立的状态服务器,将 应用数据保存到云数据库 RDS,将日志存储到日志服务。弹性伸缩不支持自动将 ECS实例添加到 Memcache实例的访问白名单,需自行 添加。2.1.创建伸缩组 步骤1 访问弹性伸缩控制台。(https://essnew.console.aliyun.com/#/)首次访问需要创建服务关联角色:...
来自: 最佳实践 | 相关产品:负载均衡 SLB,堡垒机,弹性伸缩,云数据库专属集群MyBase,云速搭CADT
消息队列 Kafka
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件,广泛用于日志收集和分析、数据处理等场景。可提供全托管服务,用户无需部署运维,更专业、更可靠、更安全。
【Kafka Connect】将 SQL Server 数据同步至消息队列 Kafka .【Kafka Connect】从 MySQL 同步至消息队列 Kafka .【Kafka 生态】在 Knative 上实现 Kafka 消息推送.【最佳实践】从开源 Kafka 迁移到消息队列 Kafka 最佳实践.100%兼容开源社区 Apache Kafka(0.10.0.0 及以上版本),业务代码无需任何改造,快速上云.提供...
来自: 云产品
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
产品列表:E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期,请搜索群号:31852400 云服务器 ECS(产品名称)文档模板(手册名称)/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本:20200330 文档版本:20150122(发布日期)II EMR集群安全...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
微服务引擎MSE
微服务引擎 MSE 面向业界注册配置中心、分布式协调、云原生网关、微服务治理和分布式任务调度等主流开源项目,提供商业版服务。
通过无损上下线、全链路灰度等能力,覆盖 CDN、网关、MQ、配置、数据库等灰度场景,通过这种方式让客户在不需要更改任何业务代码的情况下实现多业务白天随时发.增强服务运行过程中的稳定性.通过 Sentinel 的商业能力,对突发的流量进行限制,避免线上故障,通过离群实例摘除,快速屏蔽偶发异常导致的风险.基于 Akka ...
来自: 云产品
加密服务HSM
阿里云加密服务(HSM)即云密码机,提供云上加密服务。加密服务使用经国家密码管理局检测认证的硬件密码机作为服务底层,帮助您满足数据安全方面的监管合规要求,保护云上业务数据隐私。为2022年北京冬奥会全面提供数据加密服务,保障冬奥会线上系统数据安全。
云数据库RDS MySQL .加密服务满足金融安全合规需求,提供支付身份的认证、支付过程的不可否认性等安全服务,保证支付数据在传输、存储过程中的完整性、保密性.满足金融支付场景监管合规需求.保证金融支付业务的安全性.Web应用防火墙(WAF).保证电子病例、电子发票、电子合同、电子保单在生产、传输、存储过程中的完整性...
来自: 云产品
< 1 2 3 4 ... 7 >
共有7页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用