EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
在阿里云 EMR服务中，为使用者提供了多种企业级安全机制，从集群管理、用户认 证、访问授权、审计和数据保护等多方面提供了保护。名词解释 E-MapReduce：阿里云 E-MapReduce（EMR）是构建在阿里云云服务器 ECS 上的开源 Hadoop、Spark、HBase、Hive、Flink生态大数据 PaaS 产品。提供 用户在云上使用开源技术建设数据仓库、...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
参数说明 1.endpoint：必须是DLF的跨域域名或者internal域名，具体的可提工单咨询（后 续会提供公网link参考）2.ramRoleArn：如果MaxCompute和DLF是同一账号下且已完成一键授权，则此 参数省略。本例就是省略此参数。若是跨账号授权或者自定义授权请参考附录A 3.ossEndpoint：指定与DLF同地域的OSS内网endpoint。请参考 ...
云上高并发系统改造
场景描述 随着业务的发展，系统并发压力越来越大，如何 进行系统改造以满足高并发场景的业务需求成 为了一个技术难题。本实践抽象于客户的实际场 景，提供高并发下系统改造的理论指导和部分实 操演示。主要适用于以下场景： 1.系统并发压力大，需要进行系统应用改造。 2.数据层并发压力大，需进行分库分表改造。 3.数据库数据量巨大，亟待分库分表解决查询 和写入瓶颈的场景。 方案优势/解决问题 1.在水平扩展阶段，我们除了通过SLB做负载 均衡外，我们可以通过SLB下挂nginx的方 式，增加负载均衡侧的可扩展性 2.在数据库拆分阶段，在做好数据规划后，我 们借助DTS进行数据迁移，通过DRDS将 RDS MySQL的数据拆分到多个分库和分 表中。 产品列表 专用网络VPC 负载均衡SLB 云服务器ECS 数据库RDSMySQL 数据传输服务DTS PrivateZone 分布式关系型数据库DRDS
您可以登录阿里云控制台，并前往实名认 证页面（https://account.console.aliyun.com/v2/#/authc/home）查看是否已经 完成实名认证。阿里云账户余额大于 100元。您可以登录阿里云控制台，并前往账户总览页面（https://expense.console.aliyun.com/#/account/home）查看账户余额。开通 ECS、DRDS、RDS、负载均衡等服务。本...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
打开 IDEA，项目 POM文件的位置和修改区域主要在：文档版本：20200106 32 Spring Cloud Netflix应用迁移 EDAS Spring Cloud Netflix应用改造 增加对 Spring Cloud Alibaba的支持：主要增加了如下配置：org.springframework.cloud spring-cloud-alibaba-dependencies${spring-cloud-alibaba.version} 文档版本：20200106 33 ...
企业上云数据安全
场景描述 企业是否选择上公共云，或者哪些系统或数据上 公共云，对数据安全的关心是重要因素之一。本 最佳实践重点在于介绍狭义的数据加密存储安 全范畴，即首先使用SDDP产品进行敏感数据发 现和分级分类，然后对高级别敏感数据进行按 需、不同类型的全链路加密存储。 解决问题 1.帮助客户发现敏感数据 2.对敏感数据进行分类、分级 3.对不同级别的数据如何选择加密方式 4.具体如何进行加密 产品列表 敏感数据识别SDDP 密钥管理服务KMS 云数据库RDS 对象存储OSS
可以通过控制台来查看自己账 号的 AK和 SK，如下图：且需要把 bucket_name变量的值改为您对应的 bucket名 步骤2 当前目录下新建一个 data目录，然后准备一个要加密的文件，如附件中的 test.csv，放到 data目录里：mkdir data cd data 文档版本：20210809 36 企业上云数据安全 OSS数据加密 步骤3 在/root目录下，执行脚本，...
混合云自有K8S弹性使用ECI
场景描述 本文介绍线下IDC与云端通过专线构建混合云架构，自有K8S利用虚拟节点弹性调用ECI承载业务高峰期资源需求的最佳实践。 解决问题 混合云环境下，自有K8S集群注册至ACK，实现云端纳管。纳管K8S集群部署Virtual Node，使集群具备ECI资源调度能力。在以上环境中部署Web及离线作业应用，并使用ECI资源作为弹性资源池满足业务波峰需求。 产品列表 云服务器ECS 云架构设计工具CADT 专有网络VPC 访问控制RAM 云企业网CEN 弹性容器实例ECI Nat网关NAT 容器镜像服务ACR 负载均衡SLB 容器服务Kubernetes版ACK 弹性公网IPEIP
kubectl create ns blog kubectl get ns 文档版本：20210520 45 混合云 IDC自有 K8S弹性使用 ECI ECI使用示例 步骤2 根据上一章节获取的数据库实例域名地址，获取其对应的 IP地址。ping rm-xxxxxgax963kxxxx7.mysql.rds.aliyuncs.com 注意：RDS实例域名地址以实际为准。本例中，RDS实例的内网 IP地址为 10.0.0.164，记录...
数据湖-在线学习场景数据分析
场景描述 本场景以在线教育中一个答题闯关类的应用为 例，使用WebServer来模拟演示这类日志数据 的分析处理。通过Nginx和Pythonflask搭建 WebServer，模拟应用中的关键页面，比如登 录、课程内容等，之后构造若干用户使用的模拟 日志数据，投递到数据湖进行分析后获取应用 PV、UV、课程内容访问排行、平均得分等等。 解决问题 基于数据湖（EMR+OSS）搭建大数据平台。 EMR和OSS使用和配置。 数据统一存储到OSS。 产品列表 E-MapReduce 对象存储OSS 云服务器ECS 访问控制RAM 专有网络VPC
您可以登录阿里云控制台，并前往实名认证 页面（account.console.aliyun.com/v2/#/authc/home）查看是否已经完成实名认 证。 阿里云账户余额大于100元。您可以登录阿里云控制台，并前往账户总览页面（expense.console.aliyun.com/#/account/home）查看账户余额。 开通以下服务：ˉECS：详情请参见ecs.console.aliyun....
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
部署 Notebook 前提条件 以下操作要用到已规划的域名，示例中的域名是lustre.site，该域名已完成实名认证 审核。在本实践中，分配nb.lustre.site给 notebook使用。背景信息 安装 Notebook 时支持配置 Ingress 和 TLS，为您的访问提供安全防护。在部署 Notebook时，您可以为 Notebook选择不同的服务提供方式：通过 sshuttle...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
通过 SSH分别远程登录 Hadoop集群所在的 3台 ECS实例，并执行下面的命令：ECS实例名 执行的命令 hadoop-master hostnamectl set-hostname master hadoop-slave1 hostnamectl set-hostname slave1 hadoop-slave2 hostnamectl set-hostname slave2 hadoop-slave3 hostnamectl set-hostname slave3 说明：建议您在实践过程中，...
传统企业业务上云基础安全防护
场景描述 越来越多的企业客户选择把自己的生产系统部 署在公共云平台上，以满足自身业务的发展及弹 性扩缩容、稳定性等方面的需求。如何在公共云 上构建基本的网络安全、主机安全、入侵检测、 运维审计等方案，是企业首选的最佳实践。 解决问题 1.服务器安全、应用安全 2.网络安全、数据安全 3.安全审计、安全管理 产品列表 云安全中心 Web应用防火墙 云防火墙 SSL证书 数据库审计 堡垒机
步骤7 如果选择Cname接入的一键接入，系统默认会把当前账号下的域名服务产品中的域 名同步过来，方便直接选择，您只要勾选要添加的域名，并单击立即自动添加网站即 文档版本：20220210 6传统企业业务上云基础安全防护 Web应用防火墙（WAF）可。如果要保护的域名不在列表中，您可以；如果手动添加网站，您需要完成WAF 配置，...
新零售商超基于Serverless服务化改造
某零售商超行业龙头企业，主要业务涵盖购物中心、大卖场、综合超市、标准超市、精品超市、便利店、无人值守智慧商店等零售业态，涉及全渠道零售、仓储物流、餐饮、消费服务、数据服务、金融业务、跨境贸易等领域。为了持续支持业务高速且稳定地发展，其在快速上云后，将核心业务改造为全Serverless架构的中台模式，采用函数计算 + API网关 + 表格存储OTS 作为计算网络存储核心，弹性支撑日常和大促峰谷所需资源，轻松支撑618/双11/双12大促。 核心价值 l 全 Serverless 架构：FC + API 网关 + OTS Serverless 解决方案。 l 弹性高可用：毫秒级弹性扩容、充足的资源池水位、跨可用区高可用。 l 敏捷开发免运维：函数式极简编程可专注于业务创新，无采购和部署成本、提供监控报警等完备的可观测能力。
文档版本：20210519 34 新零售商超基于 Serverless服务化改造 架构环境搭建 步骤7 上线后，可访问 API网关提供的二级域名，该二级域名仅供测试使用，客户端直接调 用时会有每天 1000次访问限制。建议为分组绑定独立域名，使用独立域名访问不会 受到此限制，详见配置过程：...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
拥有已经通过备案的域名。开通 ECS、OSS、EMR、RDS、DTS和 VPN网关等服务。文档版本：20210721 3 自建Hive数据仓库跨版本迁移到阿里云 EMR 资源规划说明 资源规划说明 本方案仅作为实践演练使用，在生产环境中执行时请结合业务系统实际架构进行 调整。本方案购买的所有云产品规格均为演示需要，请根据实际业务需求购买对应...
基于ECI+FaaS构建游戏战斗结算服
在游戏行业的很多SLG游戏作品中，为了防止客户端作弊，在每局战斗之后，在客户端预判玩家胜利的情况下，需要服务端来进行战斗数据的结算，从而确定玩家是不是真正的胜利。战斗结算是强CPU密集型，结算系统每日需要大量的计算力，尤其是开服或者活动期间忽然涌入的大量玩家，导致需要的计算量瞬间几倍增长，同时需要结算系统保持稳定的延时来保证玩家的用户体验。 1. ECI支持500台实例30S弹出，快速解决业务模块扩容压力。FaaS毫秒级伸缩扩容，化解算力瓶颈，平滑解决暴增调用请求。 2. 降低成本：ECI每天弹性运行8小时，与6代同规格包月相比节省成本40%+，FaaS按需付费，即开即用，节省预留资源消耗。 3. 免运维：FaaS和ECI都是全托管免运维的服务，客户专注业务开发即可。 4. 模块公共化：减轻游戏逻辑服的压力，结算需求复用到类似需求的游戏。
fun deploy-y 文档版本：20201127 19 基于ECI+FaaS构建游戏战斗结算服 游戏架构搭建篇 步骤8 通过临时域名进行快速测试。3.1.创建专有网络 VPC 步骤1 登录专有网络控制台。（https://vpc.console.aliyun.com）步骤2 在专有网络页面，切换地域为华东 2（上海），并单击创建专有网络。文档版本：20201127 20 基于ECI+FaaS构建...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
过程不再赘述 文档版本：20211203 67 SLS多云日志采集、处理及分析 日志服务器集群公网日志数据传递到日志服务 步骤4 创建日志服务 Project以及日志 Logstore 按照 3.1节的方式在华东 2（上海）区域创建名为 sls-test-121的日志服务 Project以 及名为 test20191009的日志 Logstore,并为 Logstore开启索引，过程不再赘述 ...
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
参考：/event/webhook/RAMAK_LTAI5tH*xvGh4vPbS/test-promethus_test-1 ➢ targets：告警消息的接收端，此处配置为日志服务的访问域名。参考：cn-heyuan.log.aliyuncs.com 文档版本：20211021 51 基于 SLS实现统一告警最佳实践 配置自定义告警 步骤4 配置告警规则。cd/usr/local/prometheus wget ...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
Host信息可以在 CDH和 CDP的控制台查看(CDP同时配置长域名和短域名)。chattr-i/etc/hosts echo"192.168.10.205 master">>/etc/hosts echo"192.168.10.207 slave1">>/etc/hosts echo"192.168.10.208 slave2">>/etc/hosts echo"192.168.10.206 slave3">>/etc/hosts echo"192.168.10.203 cdp-master-1.c-e34371c2cc31480a cdp-...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
cd kafka_2.11-0.10.2.2 文档版本：20220223（发布日期）36 基于 Flink的资讯场景实时数仓 基础环境部署./bin/kafka-console-producer.sh-broker-list 默 认 接 入 点-topic app_log_origin 注意：本实例的脚本为./bin/kafka-console-producer.sh-broker-list 192.168.0.150:9092,192.168.0.151:9092,192.168.0.152:9092-...
互联网业务全球化互通组网
场景描述 本方案适用从事全球化业务的客户，希望借助全球 互通的网络，实现多地域的互通。 同时在全球互联的网络下，搭建应用多地部署。如果 业务中涉及到高速通道，提供高速通道迁移云企业网 的操作演练；涉及到跨账号多VPC下的数据迁移和 同步，本方案提供详细的操作步骤，帮助客户快速完 成演练。 解决问题 借助云企业网解决网络互通 高速通道到云企业网的平滑迁移 RDS的数据互通，特别是跨账号多VPC的数据同步 应用的快速部署 产品列表 云企业网（CEN）、云服务器（ECS）、数据库（RDS）、 数据库（Redis）、数据传输（DTS）、负载均衡（SLB） 块存储、专有网络（VPC）
文档版本：20191217 37 互联网业务全球化互通组网最佳实践 模拟应用国内部署 步骤5 配置 WordPress Address(URL)，将其修改为预先申请并备案的域名 注意：实验环节可忽略此步骤，采用弹性公网 IP访问。步骤6 DMS 登录数据库，验证基础数据已进入数据库。登录 Redis，查看缓存写入云 Redis。文档版本：20191217 38 互联网...
数据库异地灾备
场景描述 适用于不满足于单地域，对数据可靠性 （RPO）和服务可用性（RTO）要求更高 的，希望防范断电、断网等机房故障，抵 御地震、台风等自然灾害，具备异地容灾 备份恢复能力的客户业务场景。 解决问题 1.实时备份，RPO达到秒级 2.表级恢复，故障恢复时间大大缩短 3.长期归档，自动管理备份生命周期 4.异地灾备，构建数据库灾备中心 产品列表 专有网络VPC 云服务器ECS 弹性公网IP（EIP） 负载均衡SLB 云数据库RDSMySQL 数据库备份服务DBS 对象存储服务OSS 数据湖分析服务DLA 数据管理服务DMS 数据传输服务DTS
文档版本：20220207 28 数据库异地灾备 配置生产中心环境 步骤4（可选步骤）配置 WordPress Address(URL)，将其修改为预先申请并备案的域名。说明：本操作实践配置负载均衡 IP为例进行访问。在左侧导航栏选择设置，进行常规选项相关参数配置，并单击保存更改。具体参数配 置如下:WordPress地址（URL）：http://负载均衡 IP ...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
拥有已经通过备案的域名。保证账号余额大于 100元人民币。开通 ECS、MaxCompute、dataworks、Hbase等服务。文档版本：20210723 3 自建Hadoop迁移MaxCompute 资源规划说明 资源规划说明 本方案实践的资源规划仅作为实践演示，实际业务场景资源以用户实际需求为准。本实践方案中，涉及到阿里云资源开通和购买，本文后续实例中...
- 产品推荐
- 这些文档可能帮助您