自建Hadoop迁移MaxCompute
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群,为了降低企业大数据计算平台的成本,提高 大数据应用开发效率,更有效保障数据安全,把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute,Dataworks、云数据库Hbase版、Datahub、VPC,ECS。
原 Job的详细 HiveSQL语句如下所示:insert into table hbase_external_table_job99_ip_statics select substring(md5(concat(substring(accesstime,2,11),ipaddr)),9,16)as key,substring(accesstime,2,11)as log_record_date,ipaddr,count(*)as ip_count_value,'$today' as process_date from apache_logs where ds='$...
来自: 最佳实践 相关产品:云服务器ECS,DataWorks,大数据计算服务 MaxCompute,云数据库 HBase 版,数据总线,云速搭
EMR集群安全认证和授权管理 
EMR集群安全认证和授权管理 
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证,通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例,演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库,并 介绍在整个数据流程中,如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表:E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
insert into table hbase_external_table_job99_ip_statics select substring(md5(concat(substring(accesstime,2,11),ipaddr)),9,16)as key,substring(accesstime,2,11)as log_record_date,ipaddr,count(*)as ip_count_value,'20200313' as process_date from apache_logs where ds='20200311' group by substring(access...
来自: 最佳实践 | 相关产品:专有网络 VPC,云服务器ECS,云数据库RDS MySQL 版,E-MapReduce
混合云数据库统一管理
混合云数据库统一管理
本最佳实践描述在混合云场景下,用户利用数据库网关将IDC自建数据库和云上RDS实例统一管理。通过DMS管理云上RDS实例和IDC自建数据库,并通过DTS实现IDC数据库和云上RDS的数据同步, DBS将数据备份到云上
vim/var/lib/pgsql/10/data/pg_hba.conf Host all all 0.0.0.0/0 md5 3.重启 postgresql服务。service postgresql-10 restart 文档版本:20201224(发布日期)16 混合云数据库统一管理 模拟环境构建 步骤4 创建用户和数据库。su – postgres psql CREATE USER dbtest WITH PASSWORD 'Test@1234';CREATE DATABASE db_test ...
来自: 最佳实践 | 相关产品:数据传输,数据管理
数据库自动扩缩容和自动SQL优化
方案使用数据库自治服务DAS实现RDS MySQL数据库的自动扩缩容和自动SQL优化,将基于人工的手动式运维转变为基于智能的主动式持续优化,具有数据库运维成本低,服务稳定性高的优势。
解决问题:数据安全风险数据库高危SQLSQL注入、敏感数据访问等敏感数据行为影响业务数据安全,识别及防护要求高。解决问题:运维复杂度高当线上有多种数据库业务,接入及管理平台切换成本高,带来运维复杂性提升。相关产品云服务器 ECS云数据库 RDS MySQL 版数据库自治服务 DAS专有网络 VPC在线咨询方案优势节省管理成本...
来自: 解决方案
云数据库RDS SQL Server版
阿里云SQL Server数据库已含微软License,支持复杂的SQL查询,性能优秀,对基于Windows平台.NET架构的应用程序具有完美的支持,广泛应用于新零售、医疗、房地产等行业。
提供IP白名单,防SQL注入,SSL加密传输,TDE数据加密等功能.主备架构,故障秒级切换,业务无感知.云服务器ECS.云数据库Redis.对象存储OSS.推荐搭配使用.电商:高并发、高性能场景.提供稳定、高性能、安全可靠的数据库服务.基于飞天大规模分布式计算和存储能力,提供高性价比的单机版实例,同时利用读写分离横向扩展读能力,...
来自: 云产品
加密服务HSM
阿里云加密服务(HSM)即云密码机,提供云上加密服务。加密服务使用经国家密码管理局检测认证的硬件密码机作为服务底层,帮助您满足数据安全方面的监管合规要求,保护云上业务数据隐私。为2022年北京冬奥会全面提供数据加密服务,保障冬奥会线上系统数据安全。
加密服务满足金融安全合规需求,提供支付身份的认证、支付过程的不可否认性等安全服务,保证支付数据在传输、存储过程中的完整性、保密性.满足金融支付场景监管合规需求.保证金融支付业务的安全性.密钥管理服务.云服务器ECS.Web应用防火墙(WAF).推荐搭配使用.金融支付加密.保证电子病例、电子发票、电子合同、电子保单在...
来自: 云产品
< 1 >
共有1页 跳转至: GO
产品推荐
这些文档可能帮助您

新品推荐

切换为电脑版

新人特惠 爆款特惠 最新活动 免费试用