自建Hive数仓迁移到阿里云EMR
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统,购买阿里云EMR集群之 后,涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本),涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce,VPC,ECS,OSS,VPN网关。
文档版本:20210721 38 自建Hive数据仓库跨版本迁移到阿里云 EMR 注意事项 附录:Hive1.2升级到 Hive2.3部分注意事项 Hive在跨版本升级过程中,会存在一些服务、功能、HQL语法等变化,这里归纳总结 一些常用的不兼容事项供使用者参考。如果您需要确定两个版本之间的全面差异,请 详细查询 Apache Hive各个版本之间的 ...
来自: 最佳实践 相关产品:专有网络 VPC,云服务器ECS,对象存储 OSS,VPN网关,E-MapReduce,云速搭
自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
改造 Azkaban测试工程中 Job 98_add_device_and_user_type 使用者可以参考章节 6.2的步骤,改造另一个 Azkaban的 Job任务,这里提供一些信 息共使用者参考,详细步骤不再重复。◼ Job中原 SQL,修改点依然黄色背景标识 insert into table hbase_external_table_job98_user_detail select substring(md5(concat(ipaddr,...
来自: 最佳实践 | 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
CDH迁移升级CDP最佳实践
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载,终止服务,针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户,通过安装新的 CDP 集群,将现有数据拷贝至新集群,然后将新集群切换为生产集群,升级过程没有数据丢失风险,停机时间较短,适合大部分互联网客户升级使用。
如果“root.default”不是预期的默认 队列,则有两种可能的方法:使用setDefaultQueue 策略更 改“root.default”,然 后 应 defaultQueue。使用自定义策略并将策略字符串设 置为目标队列。3.3.4.调度程序迁移的限制 将 Fair Scheduler 配置转换为 Capacity Scheduler 配置有一些硬性限制,因为这两个 调度程序并不等效...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云速搭
对象存储 OSS
阿里云对象存储 OSS(Object Storage Service)是一款海量、安全、低成本、高可靠的云备份服务,提供最高可达 99.995 % 的服务可用性。多种存储类型供选择,全面优化存储成本。
OSS 是一款具有行业领先的安全、稳定、高性价比、高性能的云存储服务,可以帮助各行业的客户在互联网应用、大数据分析、机器学习、数据归档等各种使用场景存储任意数量的数据,以及进行任意位置的访问,同时通过丰富的数据处理能力更便捷地使用数据。对象存储 OSS 原理架构数据以对象(Object)的形式存储在 OSS 的存储空间...
来自: 云产品
云管理
面向企业上云和用云管理,提供管理云服务和云资源体系化工具及方案,帮助企业上好云、管好云。
这些规则在云上能近乎实时并持续的运行,提供比云下方式更及时、更高效、更可靠的合规管理能力,从而使企业顺利迁移上云.SAP 将 ERP 和 PaaS 软件部署在阿里云上,涉及上百个业务部门。访问控制 RAM 帮助打通 SAP 云平台与阿里云的访问控制体系,实现了 SSO 和基于角色的资源管理.亿滋通过为不同的供应商创建不同 RAM 用户...
来自: 云产品
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件,广泛用于日志收集和分析、数据处理等场景。可提供全托管服务,用户无需部署运维,更专业、更可靠、更安全。
值得一提的是,使用云产品 Kafka,无论在生产环境还是本地开发测试环境,都可以直接使用云产品,减少通用产品依赖,让团队专注于业务的开拓实现,极大的提升了团队工作效率.小麦助教:通过阿里云原生中间件产品组合,加速微服务架构落地.开源自建 Kafka 运维投入大,在大规模场景下稳定性无法保障,开源 bug 没有解决,同时...
来自: 云产品
云数据库 RDS MySQL版
阿里云云数据库RDS MySQL是一种稳定可靠、可弹性伸缩的在线MySQL数据库服务, 提供了高可用、高可靠、高安全、易运维等一站式的数据库解决方案,帮助您免除MySQL运维的烦恼。
数据安全TDE 加密:对数据文件执行实时 I/O 加密和解密,保证磁盘文件的机密性,远离直接从文件直接访问数据的攻击。备份回档:RDS 提供数据备份和日志备份两种功能按备份集恢复和按时间点恢复,以及按备份集恢复和按时间点恢复两种恢复功能。容灾安全多可区实例容灾:通过异步或半同步的数据复制方式和高效的主备切换...
来自: 云产品
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品,覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景;通过对 MQTT、WebSocket 等协议的全面支持,连接端云之间的双向通信,实现 C2C、C2B、B2C 等业务场景之间的消息通信,可支撑千万级设备与消息并发。
云消息队列 MQTT 版本身具备的多协议兼容、高可用、高性能等特性,有效地支撑了二维火云端设备的快速接入,助力业务稳定,同时,解放了生产力,使IT人员可以更加聚焦业务本身.阿里云云消息队列 MQTT+云消息队列 RocketMQ 产品组合能高效实现移动客户端和云端的双向打通,可支持千万级别的客户端同时在线,通过分布式架构...
来自: 云产品
性能测试PTS
阿里云性能测试PTS可轻松模拟任意体量的用户访问业务的场景。任务随时发起,免去繁琐的搭建和维护成本。是活动大促、产品交付、版本迭代、系统维护不可缺少的性能优化工具。
作为全链路压测工具方案提出,基于生产环境压测的核心技术-流量隔离方案已经全面SaaS化,探针管理、Mock管理、影子数据准备和压测流量追踪一应俱全,无侵入的探针方案结合全能控制台,一站式服务,开箱即,实现性能优化.蔡伟杰,靖鑫,也树.86A_【标题】行业实战场景.谢赟辉,靖鑫,也树.视频直播类节目中会大量出现流量...
来自: 云产品
数字证书管理服务(原SSL证书
阿里云为您提供证书服务,在云上签发DigiCert、GlobalSign、GeoTrust、CFCA、WoSign证书,实现网站HTTPS化,使网站可信,防劫持、防篡改、防监听。并对云上证书进行统一生命周期管理,简化证书部署,一键分发到云上产品。
数字证书管理服务(原SSL证书).数字证书管理服务集云上SSL证书生命周期管理和数字证书应用为一体的SAAS服务。该服务具备签发、管理服务器证书和各类终端证书的能力,同时提供云上证书自动化应用部署的解决方案,便于客户轻松实现数据传输加密和信源加密,保障数据安全.多云部署能力发布:支持腾讯云 及 AWS多款云产品部署...
来自: 云产品
Exchange Server云上部署最佳实践
Exchange Server云上部署最佳实践
阿里云提供基础设施服务,能够以高可用、高容错且经济实惠的方式将Exchange Server部署在云上。通过在 阿里云上部署,可以获得Exchange Server的功能以及阿里云天然灵活性和安全性。
阿里云提供 SSL证 (服务端和客户端),且均支持 ECC、RSA 或 SM(国密)三种加密方式。详 情请参见:https://www.aliyun.com/product/cas 文档版本:20220119 IV Exchange Server云上部署最佳实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.V 最佳实践概述.1 前置条件.4 1.资源环境部署.5 2.部署域控制器和 ...
来自: 最佳实践 | 相关产品:云服务器ECS,负载均衡 SLB,弹性公网IP,NAT网关,SSL证书,云速搭CADT
< 1 2 3 >
共有3页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用