EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
4.Flume中和 Kafka、HDFS相关的安全配 置。产品列表：E-MapReduce、专有网络 VPC、云服务 最佳实践频道 阿里云最佳实践分享群 器 ECS、云数据库 RDS版 如二维码过期，请搜索群号：31852400 云服务器 ECS（产品名称）文档模板（手册名称）/文档版本信息 阿里云 EMR集群安全认证和授权管理 最佳实践 文档版本：20200330 文档...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
主机名 不设置 网络和交换机（架构图右：EMR）类别 配置项 说明 文档版本：20210714 6 自建Hadoop数据迁移到阿里云 EMR 自建 Hadoop集群环境搭建 专有网络 名称 vpc-hangzhou IPv4网段 推荐网段 10.0.0.0/8 交换机 名称 vswitch-az-h 可用区 杭州 可用区 H（可根据资源库存选其他可用区）IPv4网段 10.17.105.0/24 安全组 ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
ssh root@{utility节点公网 ip} 由于 replication manager部署在工具节点上，需要添加 CDH和 CDP的 host解析配 置。Host信息可以在 CDH和 CDP的控制台查看(CDP同时配置长域名和短域名)。chattr-i/etc/hosts echo"192.168.10.205 master">>/etc/hosts echo"192.168.10.207 slave1">>/etc/hosts echo"192.168.10.208 slave2">...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
b（可根据库存选其他可用区）IPv4网段 192.168.20.0/24 ECS实例 类别 配置项 说明 基础配 ECS名 ecs-hadoop 置 支付方式 后付费 地域 华东 2（上海）可用区 g 实例 ecs.c5.xlarge(4c 8g)购买实例数 8台 量 说明：1台用于安装日志发生器，1台用于安装 Kafka，5台 用于安装 Hadoop，1台用于安装 MySQL。镜像 选择公共镜像。...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
（物理上不 同 Topic的消息分开存储，逻辑上一个 Topic的消息虽然保存于一个或多个 broker 上但用户只需指定消息的 Topic即可生产或消费数据而不必关心数据存于何处）。Partition Partition是物理上的概念，每个 Topic包含一个或多个 Partition。Producer 负责发布消息到 Kafka broker。Consumer 消息消费者，向 Kafka ...
金融行业从经典网络向VPC容器化改造
本实践介绍经典网络向VPC容器化改造实践 以及配置步骤，可适用于金融等行业 方案优势 容器化完成经典网络完成向VPC网络改 造 应用发布灵活 运维效率提升 解决问题 1.经典网络管理困难 2.应用发布不灵活 3.运维效率低 产品列表 专有网络VPC 容器服务Kubernetes版 日志服务SLS 云数据库RDS版 NAT网关 容器镜像服务ACR 云盘
名词解释 VPC：专有网络（VirtualPrivateCloud），是用户基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和管理云产品实 例，比如ECS、负载均衡、RDS等。 VSW：虚拟交换机（VirtualSwitch），阿里云专有网络的基础网络设备，通过创建交换机 为专有网络划分一个...
大数据workshop
大数据workshop
域名：填写 hologres的外网链接地址，不包含端口。文档版本：20210628（发布日期）56 阿里云最佳实践大数据 WorkShop 最佳实践项目实践 2.用户名：AccessKey ID 3.密码：AccessKey Secret 4.端口：80 步骤3 在我的可视化中，单击新建 PC端可视化。步骤4 选择集团数据看板模板，并单击创建。文档版本：20210628（发布日期）...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
跨云迁移单写双读过渡架构
概述 在搬站场景下，涉及迁移跨度较长，在过渡阶段客户需要跨云访问，如何保障数据链路的高可用尤为关键，采用专线和公网双备的方案保障数据传输的高可用，也降低双专线的迁移成本。 适用场景 数据迁移链路的高可用 跨云迁移过渡期架构 读写分类架构设计 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 在迁移时间持续较长的情况下，使用单写双读架构降低业务改造成本。 使用数据库网关做专线和公网互备。 流量逐渐灰度验证，保障迁移平滑过渡。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc SLB：Server Load Balancer，简称 SLB。多台云服务器进行流量...
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
本实例架构图:文档版本：20210803（发布日期）11阿里云最佳实践金融大数据WorkShop 最佳实践项目实践（注：CADT暂不支持创建实时计算Flink集群，下一章节将通过页面创建）需要注意：使用CADT进行资源创建时，所有的实例名需要设置为自定义名称 步骤1 登录CADT控制台。...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ECS：云服务器 ECS（Elastic Compute Service）是阿里云提供...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
步骤3 ssh 登 录 到 EMR Hadoop 的 master 节 点 修 改 flume 的 配 置 文 件/usr/lib/flume-current/conf/flume-k2hadoop.conf（配置文件可以在附件中下载）：文档版本：20200331 48数据湖-在线学习场景数据分析 应用场景 启动flume，执行命令：flume-ng agent-conf/usr/lib/flume-current/conf/-name a1-conf-file/usr/...
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc SLB：Server Load Balancer，简称 SLB。多台云服务器进行流量...
小型互联网迁移阿里云
场景描述 本方案主要适用于中小型互联网企业，从他云 迁移到阿里云的最佳实践。方案中会概述网络 规划、服务器、数据库、存储数据、Kafka和 镜像数据的迁移方案描述。同时在实践环节， 增加服务器和RDS的迁移操作演练和验证。 解决问题 提供服务器、数据库等关键环节的平滑迁移方 案 提供云上高可用架构参考 提供模拟简单的演练回归流程机制 产品列表 云服务器（ECS）、迁云工具（SMC）、数据库 （RDS）、数据库（Redis）、数据传输（DTS）、 负载均衡（SLB）、专有络（VPC）等
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc ECS：Elastic Compute Service，是一种弹性可伸缩的计算服务...
企业多账号配置统一合规审计
面向企业的各中心管理团队提供一种面向多账号的合规管理方案。从上而下的实施统一的合规基线并强制管理，可中心化的持续监测所有业务的合规状态。提升中心管理团队工作的可见性可控性，切实起到监管效力，规避潜在风险。
同时配置审计也提供了完备的不合规事件投递功能，企业可以灵活的选择合适的投递渠道进行事件投递，实现不合规事件的监控和自动化处理。方案部署01开通配置审计管理账号在使用配置审计之前，必须先开通配置审计服务。02新建账号组企业为了实现定制化管理某个账号组内成员的资源及其合规性，需要创建一个账号组。03查看资源...
来自：
解决方案
私网CLB监听端口自转发
通过云速搭实现一个 EIP-CLB->ECS 的简单架构，实现其中 CLB 前端在监听到http 80 端口的请求时，基于一个配置的自转发规则会把请求转发到自己监听的 https 443端口，以确保请求拥有可信的证书，然后转发给后端的 80 或其他端口，后端应用则无需校验证书就能确定收到的请求是可信的。
私网CLB监听端口自转发 文档版本信息 云速搭 私网 CLB监听端口自转发 最佳实践 文档版本：20211112（发布日期）私网CLB监听端口自转发 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 私网 CLB监听端口自转发 文档编号 270 文档版本 V1.0 版本日期 2021-11-12 文档状态 对外发布 制作人 游士 审阅人 文档变更记录 ...
- 产品推荐
- 这些文档可能帮助您