EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
Flume 中 Kafka Source 的安全和加密详细内容，请参见：https://flume.liyifeng.org/#kafka-source 步骤5 配置 JAAS登录配置文件 执行以下命令，生成一个 JAAS文件（Java Authentication and Authorization Service，Java身份验证和授权服务），在该文件中蓝色 xxxxxx替换为 Keytab（2.5.2 步骤 2）和 Principal（2.5.2 ...
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
3.一键释放云资源 场景已经完成，可以将验证通过的环境直接转为生产。如果不再使用该架构的云产品，也可以 通过CADT释放全部按量付费资源。CADT无法对包年包月资源进行提前释放。需要先到费用中心-订单管理-退订管理，进行批量退订。OSS已经存储了方案相关数据，需要到OSS的控制台提前删除：这里需要注意：如果通过CADT创建...
远程办公-AD管控下的弹性云桌面
在弹性云桌面中部署企业基础办公环境时，IT人员通常会面临以下问题，本文希望通过场景实践的方式，示范如何结合使用不同阿里云产品，来解决这些问题：用户如何管理？企业已有AD用户如何上云？云上共享文件服务权限怎么管？数据安全问题有保障吗？该如何设置？云桌面能使用本地机房或IDC中的服务吗？ 本文使用的应用场景： 场景1：客户A在云上新建Windows ActiveDirectory（以下简称AD）；弹性云桌面，和NAS文件存储服务部署在AD所在的VPC内。场景2：客户B在阿里云上已有AD和NAS。弹性云桌面创建在与AD不同的VPC中。AD与云桌面的VPC通过CEN连接。场景3：客户C在云下IDC有自建AD和文件服务。弹性云桌面创建在阿里云上。云下机房与阿里云弹性云桌面所在VPC通过IPsec VPN连接。 方案优势： 易部署：弹性云桌面支持快速便捷的桌面环境创建、部署、统一管控与运维。 CEN和VPN网关服务开通即用，配置实时生效，快速完成部署。 低成本：弹性云桌面无需前期传统硬件投资，帮您快速构建安全、高性能、低成本的桌面办公体系。可广泛应用于具有高数据安全管控、高性能计算等要求的金融、设计、视频、教育等领域。VPN网关基于Internet建立加密通道，比建立专线更便宜，快速实现混合云。 安全性：VPN网关使用IKE（秘钥交换协议）和IPSec对传输数据或进行加密，保证数据安全可靠。云桌面自带的安全策略保证数据不落地。 集中管控：通过Windows AD对云桌面用户和共享文件服务进行统一权限管控。可实现AD用户自动同步上云，和文件级别的权限管控。
（说明：此处为文章篇幅简洁，验 证方便，复用了场景 1中的云桌面环境。场景 3与场景 1相互独立，互不影响。（3）杭州和上海的网络通过 IPSec-VPN打通。（4）文件服务、云桌面用户、NAS被 IDC中的 AD管控。文档版本：20201210 8 远程办公-AD管控下的弹性云桌面最佳实践 部署最佳实践所需资源 类别 配置项 说明 区域 区域 ...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
5.5.MaxCompute中并验证数据 验证 MaxCompute临时表中数据写入正常。返回到 DataWorks默认工作空间的数据开发界面。创建临时查询，查询临时表 kafka_tmp_table内数据。确认新建临时查询节点。文档版本：20240419 34 大数据近实时数据投递 MaxCompute 在查询界面输入如下 SQL语句，并运行此查询语句。SELECT*FROM kafka_tmp_...
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
如果 Navigator配置了 LDAP或 Active Directory身份验 证，建议修改用户或用户组，删除其添加或更新元数据的权限。ￚ 将 Navigator实体标记为 stale，标注该实体不再在 Navigator中维护。有一种 比较简单的实现方法是创建一个策略，该策略将标签分配给 CDP中的实体。元数据迁移非常耗时 请登录到 navigator页面，然后查看 ...
数据迁移上云
随着越来越多的企业选择将业务系统上云，各种类型的数据如何便捷、平滑的迁移上 云，成了用户上云较为关注的点；业务上云后，因为业务或者其他方面调整等因素， 也存在如跨区域，跨账号等数据迁移的场景。针对以上需求，阿里云上提供了较为丰 富的工具（如ossimport）、服务(在线迁移服务)，旨在能够帮助客户便捷进行数据迁 移。 本文通过云架构设计工具CADT来快速创建云上基础资源，并以杭州区域来模拟线 下IDC（或友商），深圳区域模拟阿里云云上资源。通过云上的工具命令、服务来提 供常见数据迁移场景的最佳实践。
运行环境 ossimport可以部署在 Linux或 Windows系统上，要求如下：Windows7及以上版本 Linux系统最新版本 Java 1.7及以上版本 注意 分布式部署暂时不支持 Windows系统。部署方式 单机模式：当您需要迁移的数据小于 30TB 时，推荐部署单机模式。您可以将 ossimport部署在任意一台可以访问您待迁移数据，且可以访问 OSS的机器...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
步骤5 验证 JAVA环境安装成功。java-version 步骤6 从 https://archive.apache.org/dist/kafka/下载 Kafka安装包。wget https://archive.apache.org/dist/kafka/0.10.2.2/kafka_2.11-0.10.2.2.tgz 步骤7 解压安装包。tar zxf kafka_2.11-0.10.2.2.tgz 步骤8 测试对消息队列 Kafka发送消息。注：默认接入点请查看 3.4.1 步骤...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
服务器私有 IP地址查看方法：41 企业上云实践 虚拟化远程桌面架构的云上部署|创建并部署文件服务器 在身份验证和授权信息向导页，根据下表说明进行配置，并单击完成。类别 配置项 说明 身份验证 匿名 勾选 基本 勾选 授权 允许访问 选择指定角色或用户组。ftptest 权限 勾选 读取和写入。42 企业上云实践 虚拟化远程桌面...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
本文提供全流程完整的 Demo演示和源码，可作为客户、架构师 PoC验证、学习使用。应用范围 第三方云平台或线下 IDC需要使用阿里云日志服务生态。第三方云平台或线下 IDC服务器已有完整日志服务迁移至阿里云。名词解释 日志服务 LOG：日志服务（Log Service，简称 LOG/原 SLS）是针对实时数据一 站式服务，在阿里集团经历大量...
分布式身份服务
分布式身份服务 DIS 通过蚂蚁区块链，安全的存储个人和企业用户的身份信息，并在保护隐私的情况下为用户、用户信息提供方、用户信息使用方提供身份标识和信息交互，使得企业和机构可以更合规的使用和管理用户身份信息及数据授权，而身份信息的真实性得到了极大的保障。
蚂蚁区块链分布式身份服务 DIS（Decentralized Identity Service），是一种基于区块链的数字身份注册和管理方案，符合W3C规范，能够更高效地保护用户的数据隐私安全，同时让数据的流转更加可信与合法合规，有效解决机构验证身份信息的真实性和机构间数据合作的难题.分布式身份服务 DIS.构建证照办理查验一体化的区块链电子...
来自：
云产品
RAM角色集成企业OpenLDAP身份认证
场景描述 本文介绍阿里云RAM使用KeyCloak集成企业OpenLDAP， 管理员工的身份及权限。配置RAM角色与KeyCloak 用户 /用户组的映射关系，实现企业员工使用企业OpenLDAP账 号以单点登录（SSO）的方式访问阿里云控制台。 解决问题 快速部署OpenLDAP及用户创建。 快速部署KeyCloak，并与OpenLDAP实现用户联 合。 阿里云角色SSO配置。 KeyCloak用户绑定RAM角色SSO。 KeyCloak用户组绑定RAM角色SSO。 产品列表 访问控制RAM 专有网络VPC 云服务器ECS 容器镜像服务ACR
文档版本：20210616 65 RAM角色以 KeyCloak集成企业 OpenLDAP身份认证 KeyCloak用户/用户组绑定角色 添加完成：文档版本：20210616 66 RAM角色以 KeyCloak集成企业 OpenLDAP身份认证 KeyCloak SSO验证 10.KeyCloak SSO验证 10.1.KeyCloak SSO登录地址 KeyCloak 中客户端的登录地址可以在客户端列表中获取。10.2.验证用户...
企业多账号身份权限集中管理
本方案帮助企业实现身份权限集中管理，包括集中管理阿里云上的人员身份，一次性配置企业身份管理系统与阿里云的单点登录，和统一配置所有用户对企业成员账号的访问权限。能够降低企业在阿里云的身份权限配置成本，减少因身份权限分散无法统一管理导致的安全风险。
能够降低企业在阿里云的身份权限配置成本，减少因身份权限分散无法统一管理导致的安全风险。方案预估：免费（访问控制 RAM、资源管理、云治理中心均为免费产品）方案部署一步步跟随方案教程，带你快速上手，进行方案部署。方案介绍企业多账号身份权限集中管理人员身份与企业自有身份体系集成，通过SCIM同步进行创建和删除，...
来自：
解决方案
区块链分布式身份服务解决方案
区块链分布式身份服务解决方案提供基于区块链技术的实体身份标识及可信数据交换服务，具有分布式、多中心等特性。该服务符合 W3C DID 以及 W3C VC 规范，实体可以对数字身份进行便捷的创建、验证、管理。此外，实体之间能够进行可验证声明的颁发，用以满足复杂的场景需求。
统一身份管理体系，提供用户身份标识创建、更新和身份持有者验证等基础功能.统一身份认证体系，支持身份颁发方对数据进行发行和认证。身份数据使用方，可验证数据是否被篡改、是否经过颁发方认证.统一身份实现基于角色的访问控制（RBAC，Role-Based Access Control）的权限控制体系，提供安全高效的身份和访问管理功能.支持...
来自：
解决方案
RAM用户集成企业AD FS身份认证
介绍阿里云RAM集成Windows AD FS，使用企 业AD对员工的身份认证及管理功能，配置RAM 用户与AD用户的映射关系，实现企业员工使用企 业AD域账号以单点登录（SSO）的方式访问阿里 云控制台。 解决问题 1.Windows AD域部署。 2.Windows AD证书服务及Web服务部署。 3.Windows AD FS部署。 4.阿里云用户SSO配置。 5.AD FS集成RAM用户SSO。 产品列表 l访问控制RAM l专有网络VPC l云服务器ECS
文档版本：20200120 84RAM用户集成企业ADFS身份认证 用户SSO验证 文档版本：20200120 85RAM用户集成企业ADFS身份认证 附录一 附录一 使用辅助域名实现RAM 用户与AD 用户映射的配置方法 当AD域名为企业的内网域名，阿里云将无法验证企业对域名的所有权。此时可以将 AD域名设置为用户 SSO 的辅助域名，ADFS中无需设置域名转换...
应用身份服务IDaaS
IDaaS是阿里云为企业用户提供的一套集中式身份、权限、应用管理服务，支持一个账号打通所有业务应用，统一控制多因子身份认证，集中管理的应用访问权限控制，集中透明的用户访问日志审计，助力企业解决单点登录问题，是5A统一身份认证管理系统。使用场景分为CIAM和EIAM，是国内第一家提供完整公有云、私有化 CIAM 解决方案的服务提供方。
阿里云 IDaaS 护卫政企内外身份.查看全部日志.IDaaS EIAM 创新带来的新版特点.产品功能子项1.产品功能子项描述1.使用标准 SAML、OIDC 等协议对接常用应用，实现 SSO，降低成本，提高安全，使用便捷.管理应用授权范围，指定组织或人员允许访问。通过和网关的联动，提供可信身份鉴别，实现零信任应用访问.提供一系列预集成...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您