EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
Apache Knox Apache Knox为 Hadoop REST API提供了一个中央网关，这些 API具有不同程 度的授权、身份验证、SSL和 SSO功能，为 Hadoop提供 SSO访问点。借助 Knox，企业可以放心地将 Hadoop REST API扩展到没有 Kerberos复杂性的新用 户，同时还可以保持对企业安全策略的合规性。阿里云 EMR服务集成了 Apache Knox网关，用于...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
1.在 Apache日志发生器的 ECS上启动 Flume，将日志文件中的内容发送到预先创 建好的 Kafka队列。首先通过 SSH登录到后台，然后执行如下命令。cd/root/apache-flume-1.8.0-bin nohup./bin/flume-ng agent-conf conf/-name a1-conf-file job_test/flume-kafka.conf&2.在 Kafka队列的 ECS上启动一个 Consumer（消费者）进程，...
自建Hive数仓迁移到阿里云EMR
场景描述 客户在IDC或者公有云环境自建Hadoop集群构 建数据仓库和分析系统，购买阿里云EMR集群之 后，涉及到将数据仓库和Hive元数据的数据库迁 移上云。目前主流Hive数据仓库迁移场景为1.x 版本迁移到阿里云EMR(Hive2.x版本），涉及到 数据订正更新步骤。 解决的问题 Hive数据仓库的数据迁移方案 Hive元数据库的迁移方案 Hive跨版本迁移后的数据订正 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
敬海、游士 审阅人 子关、期会、游圣 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019-12-20 云魁 子关、期会、游圣 创建 V1.1 2019-12-25 筱晖 云魁 文档优化 V1.2 2020-01-09 云魁、子关 子关 增加附录 使用 CADT创 V1.3 2021-07-21 游士 建资源，更新部 分命令 文档版本：20210721 I 自建Hive数据仓库跨版本迁移...
自建Hadoop迁移MaxCompute
场景描述 客户基于ECS、IDC自建或在友商云平台自建了大数 据集群，为了降低企业大数据计算平台的成本，提高 大数据应用开发效率，更有效保障数据安全，把大数 据集群的数据、作业、调度任务以及业务数据库整体 迁移到MaxCompute和其他云产品。 解决的问题 自建Hadoop集群搬迁到MaxCompute 自建Hbase集群搬迁到云Hbase 自建Kafka或应用数据准实时同步到 MaxCompute 自建Azkaban任务迁移到Dataworks任务 产品列表 MaxCompute，Dataworks、云数据库Hbase版、Datahub、VPC，ECS。
自建 Hadoop迁移 MaxCompute 场景描述 解决的问题 客户基于ECS、IDC自建或友商自建了大数据集群，自建Hadoop集群搬迁到 MaxCompute 为了降低企业大数据计算平台的成本，提高大数 自建Hbase集群搬迁到云 Hbase 据应用开发效率，更有效保障数据安全，把大数据 自建 Kafka 或服务器数据实时同步到 集群的数据、作业、调度任务...
微服务应用问题定位及故障演练
场景描述 用户微服务架构应用基于阿里云 ACK 部署， 通 过 ARMS 监控发现微服务应用的容错能力是否 健壮， 容器编排配置是否合理， 以及节点故障引 发的问题等， 方案通过 AHAS 故障注入模拟生 产环境产生的故障， 通过 ARMS 及时发现问题、 定位问题， 并结合 ARMS 的告警功能快速发现 并解决问题。 发现调用下游一个服务实例出现异常。 发现业务 Pod 故障， 验证业务的稳定性。 发现调用数据库延迟故障， 验证 Pod 的水 平扩容能力。 解决问题 1. 定位并解决微服务应用的容错能力。 2. 定位并解决微服务应用编排合理性。 3. 发现故障并验证系统故障的告警时效性。 产品列表 应用高可用服务 AHAS 性能测试 PTS 应用实时监控服务 ARMS 容器服务 kubernetes 版 负载均衡 SLB 专有网络 VPC 日志服务 SLS
基于阿里云创建的自定义私有网络,不 同的专有网络之间二层逻辑隔离，可以在自己创建的专有网络内创建和管理云产 品实例，比如 ECS、负载均衡、RDS等。在创建前，您需要结合具体业务，规划 VPC和交换机的数量及网段等。详见：https://www.aliyun.com/product/vpc SLB：Server Load Balancer，简称 SLB。多台云服务器进行流量...
Elasticsearch
阿里云检索分析服务 Elasticsearch 版是100%兼容开源的分布式检索、分析套件。提供ELK等开源全托管的产品服务能力。为结构化/非结构化数据提供低成本、高性能及可靠性的检索、分析平台级AI搜索服务。具备读写分离、存算分离、弹性伸缩、智能化运维、免费的X-Pack高级商业特性等产品特性。
查看详情 2023-02-15 新功能/规格 Serverless版本应用Demo上线 查看详情 2023-02-15 新功能/规格 Serverless版本应用及数据流管理功能优化｜支持Beats采集写入 查看详情 2023-04-19 新功能/规格 Elasticsearch Serverless支持自建Grafana可视化 查看详情 2023-07-18 新功能/规格 8.5版本机器学习功能默认开启 查看详情 2023...
来自：
云产品
数据库备份DBS
数据库备份（Database Backup，简称DBS）是为数据库提供连续数据保护、低成本的备份服务。它可以为多种环境的数据提供强有力的保护，包括企业数据中心、其他云厂商、混合云及公共云。通过使用阿里实时数据流技术，实现数据库秒级备份，秒级恢复，保障数据安全。
查看详情 2023-03-14 新功能/规格 RDS MySQL稀疏备份发布 查看详情 2023-03-14 新功能/规格 RDS SQL Server稀疏备份发布 查看详情 2023-03-14 新功能/规格 RDS PostgreSQL稀疏备份发布 查看详情 2023-04-18 新功能/规格 RDS PostgreSQL推出极速库表恢复功能 查看详情 查看全部日志视频教程创建备份计划 3分钟创建备份计划，...
来自：
云产品
数字证书管理服务（原SSL证书）
阿里云为您提供证书服务，在云上签发DigiCert、GlobalSign、GeoTrust、CFCA、WoSign证书，实现网站HTTPS化，使网站可信，防劫持、防篡改、防监听。并对云上证书进行统一生命周期管理，简化证书部署，一键分发到云上产品。
数字证书管理服务（原SSL证书）.数字证书管理服务集云上SSL证书生命周期管理和数字证书应用为一体的SAAS服务。该服务具备签发、管理服务器证书和各类终端证书的能力，同时提供云上证书自动化应用部署的解决方案，便于客户轻松实现数据传输加密和信源加密，保障数据安全.多云部署能力发布：支持腾讯云 及 AWS多款云产品部署...
来自：
云产品
通过云速搭创建具有IPv6地址的ECS
随着国家推进 IPv6 规模部署行动计划的贯彻落实，以及工业互联网、物联网、5G 等前沿技术的快速发展，各行业用户 IPv6 改造诉求愈发强烈。 阿里云 IPv6 在互联网、金融、政企、传媒等各行业，提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有IPv6地址的ECS场景，提供一键部署模版，进行部署和效果验证。 应用场景 l 针对具备IPv6地址的ECS提供可视化架构 l 支持方案的批量部署和效果验证
通过云速搭创建具有 IPv6地址的 ECS实践 场景描述 随着国家推进 IPv6 规模部署行动计划的贯彻落实，以及工业互联网、物联网、5G 等前沿技术的快速发 展，各行业用户 IPv6 改造诉求愈发强烈。阿里云 IPv6 在互联网、金融、政企、传媒等各行 业，提供了丰富的产品选择和可靠安全的服务体验。本文针对希望部署具有 IPv6地址的...
- 产品推荐
- 这些文档可能帮助您