EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
4.Flume中和 Kafka、HDFS相关的安全配 置。产品列表：E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本：20200330 文档...
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
用资源包抵扣数据湖分析所有按量付费实例（Presto和Spark引擎实例）消费，使用期间按量付费实例灵活升降配，不用考虑升配后剩余预付费时长的差价，资源包不使用不抵扣，相比包年包月和按量付费更灵活易用，性价比高.支持数据湖分析Presto和Spark引擎实例，适用于查询频率高、查询数据量较大的场景。按CPU和内存规格进行收费...
来自：
云产品
云数据库产品总览（瑶池）
阿里云提供完善的数据库解决方案，多款数据库产品，满足99%的业务场景，荣获Gartner、信通院等国内外多项认证。轻松满足高可靠、高可用性、高性能等数据库需求；运维工作量大幅减少，让企业一站式享受数据上云及分布式架构的技术红利！
借助PolarDB快速的弹性能力，在业务的高峰期临时增加数据库配置和集群规模，日常业务再进行降配操作，灵活应对业务变化，与之前的方案相比整体成本大大降低.阿里云Redis支持存储容量一键在线扩容，降低对业务的影响；通过内存+硬盘的存储方式，在提供高速数据读写能力的同时满足数据持久化需求；提供各数据结构和接口的监控...
来自：
云产品
数据库备份DBS
数据库备份（Database Backup，简称DBS）是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护，包括企业数据中心、其他云厂商、混合云及公共云。通过使用阿里实时数据流技术，实现数据库秒级备份，秒级恢复，保障数据安全。
高可靠双机热备架构及可无缝扩展的集群架构，满足高读写性能场景及容量需弹性变配的业务需求.云数据库 Redis 版.云数据库MongoDB版支持ReplicaSet和Sharding两种部署架构，具备安全审计，时间点备份等多项企业能力。在互联网、物联网、游戏、金融等领域被广泛采用.云数据库 MongoDB版.云原生数据库 PolarDB 是阿里云自研...
来自：
云产品
云上日志集中审计
场景描述 云上的各类云产品和客户部署的业务系统会产生各类 日志，企业合规及安全运营等都需要在一个地方能 集中的查看和分析日志；目前各云产品日志大部分 都进了sls，但都是产品独立的project，不方便集中 审计；客户的业务系统日志各种形态都有；多云和混 合云的场景，日志也需要能集中审计。 解决问题 1.所有日志集中到SLS一个中心project下。 2.满足等保合规和内部合规需求。 3.满足运维和安全运营需求。 产品列表 日志服务SLS 专有网络VPC 弹性公网IPEIP 负载均衡SLB 云服务器ECS 云数据库RDS 云防火墙CFW
文档版本：20200630（发布日期）25 云上日志集中审计 WEB服务日志采集 步骤6 logtail配置：APACHE配置字段参数：LogFormat"%h%l%u%t \"%r\"%>s%b \"%{Referer}i\"文档版本：20200630（发布日期）26 云上日志集中审计 WEB服务日志采集 \"%{User-Agent}i\"%D%f%k%p%q%R%T%I%O"customized 如果是其他如 Nginx 等，配 置 参 数 ...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
步骤3 ssh 登 录 到 EMR Hadoop 的 master 节 点 修 改 flume 的 配 置 文 件/usr/lib/flume-current/conf/flume-k2hadoop.conf（配置文件可以在附件中下载）：文档版本：20200331 48数据湖-在线学习场景数据分析 应用场景 启动flume，执行命令：flume-ng agent-conf/usr/lib/flume-current/conf/-name a1-conf-file/usr/...
弹性裸金属自建ORACLE数据库双机
场景描述 1.客户业务系统选型ORACLE数据库且不愿做 业务改造：由于历史原因，客户业务系统只支持 ORACLE数据库，客户没有技术/时间去做技术栈 改造。 2.高性能：希望拥有比虚拟机更高的性能和稳定 性，以保障数据库高性能，支撑高并发的业务系 统。 3.高可用：追求数据库服务的高可用，在某一台数 据库服务器宕机时快速切换备机，实现对业务应 用的最小影响。 4.数据安全性：极端情况下能找回数据，数据备份 和恢复更方便。
ORCL=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=db01)(PORT=1521))(CONNECT_DATA=(SERVER=DEDICATED)(SERVICE_NAME=orcl))文档版本：20220207 44 弹性裸金属自建 ORACLE数据库双机 配置Data Guard)#该链接配置备库的链接，后面备库创建好了再配也可以。ORCL_ST=(DESCRIPTION=(ADDRESS_LIST=(ADDRESS=(PROTOCOL=TCP)(HOST=...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
EMR-security-group 类型 普通安全组 规则 ingress 允许 全部 ICMP/-1/-1 目标 IP 0.0.0.0/0 规则 ingress 允许 自定义 TCP/SSH（22）目标 IP 0.0.0.0/0 EMR 类别 配置项 说明 集群 集群名称 EMR-cluster-hangzhou 集群类型 HADOOP 产品版本 EMR-3.22.4 付费类型 后付费 实例选型配 实例数量 1 置 Master 当前机型 ecs.hfg6...
游戏数据运营融合分析
场景描述 1.游戏行业有结构化和非结构化数据融合分 析需求的客户。 2.游戏行业有数据实时分析需求的客户，无法 接受T+1延迟。 3.对数据成本有一定诉求的客户，希望物尽其 用尽量优化成本。 4.其他行业有类似需求的客户。 方案优势/解决问题 1.秒级实时分析：依托ADB计算密集型实例， 秒级监控DAU等数据，为广告投放效果提 供有力的在线决策支撑。 2.高效数据融合分析：打通结构化和非结构化 数据，支撑产品体验分析；广告买量投放效 果实时（分钟级）分析，渠道的评估更准确。 3.低成本：DLA融合冷数据分析+ADB存储密 集型温数据分析+ADB计算密集型热数据分 析，在满足各种分析场景需求的同时，有效 地降低的客户的总体使用成本。 4.学习成本低：DLA和ADB兼容标准SQL语 法，无需额外学习其他技术。 产品列表 专有网络VPC、负载均衡SLB、NAT网关、弹性公网IP 云服务器ECS、日志服务SLS、对象存储OSS 数据库RDSMySQL、数据传输服务DTS、数据管理DMS 分析型数据库MySQL版ADS 数据湖分析DLA、QuickBI
文档版本：20210224 65 游戏数据运营融合分析 部署 ECS-SLS数据采集 步骤6 配置 logtail进行日志数据采集，这里主要是需要正确配置日志文件的路径名称（若 未调整默认为/root/domain.log），如下图所示：步骤7 查询分析配置，本步骤配置 SLS自身的分析功能，本文未用到该功能，保留默认的 全文索引配置，单击下一步即可。...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
按照本节操作，成功配 置白名单后，就只能被WAF的IP地址访问。创建访问控制策略组 步骤1 登录Web应用防火墙管理控制台。（https://yundun.console.aliyun.com/?p=wafnext#/waf/cn/manage/domain/list）步骤2 网站接入页面，单击Web应用防火墙回源IP网段列表。文档版本：20220210 8传统企业业务上云基础安全防护 Web应用...
云原生多模数据库Lindorm
云原生多模数据库Lindorm提供各规模、多模型的云原生数据库服务。可兼容HBase/Cassandra、OpenTSDB、Solr、SQL、HDFS等多种开源标准接口。支持海量数据的低成本存储处理和弹性按需付费，是互联网、IoT、车联网、广告、社交等场景首选数据库，也是为阿里核心业务提供支撑的数据库之一。
工业生产数据链路上下游各方围绕阿里云Lindorm数据云平台，将数据进行同构、汇聚、融合，打破工业场景IT数据和OT数据割裂的“信息孤岛”，实现高效的信息传递和资源配置，驱动工业制造场景数智升级.高压缩比，数据冷热分离，支持多存储规格.存储计算分离架构，支持独立伸缩，自动化扩容.存算一体化设计，支持多种分布式计算...
来自：
云产品
DTS数据同步集成MaxCompute数仓
场景描述 本文Step by Step介绍了通过数据传输服务 DTS实现从云数据库RDS到MaxCompute的 数据同步集成，并介绍如何使用DTS和 MaxCompute数仓联合实现数据ETL幂等和数 据生命周期快速回溯。 解决问题 1.实现大数据实时同步集成。 2.实现数据ETL幂等。 3.实现数据生命周期快速回溯。 产品列表 MaxCompute 数据传输服务DTS DataWorks 云数据库RDS MySQL 版
步骤5 在左侧导航栏选择临时查询，单击新建节点>ODPS SQL。文档版本：20220126（发布日期）38 DTS数据同步集成 MaxCompute数仓 MaxCompute数仓搭建 步骤6 输入节点名称，单击提交。步骤7 复制并粘贴如下 SQL语句，并修改 datetime，单击运行(F8)。select inventory_id,inventory_name,price_unit,inventory_num from(select...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
本实践方案中，自建 Hbase的表数据是在每天凌晨 1点钟通过定时任务插入的，4.4节已经迁移了历 史数据，这里演示如何创建和启动实时数据同步任务。步骤1 登录到 BDS控制台 步骤2 选择创建 Hbase实时数据同步任务 文档版本：20210723 38 自建Hadoop迁移MaxCompute Hbase表数据迁移到云数据库 Hbase版 步骤3 查看创建完成的...
- 产品推荐
- 这些文档可能帮助您