EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
Knox作为阿里云 EMR集群的默认服务进行安装，安装后，使用者可以指定阿里 云 RAM子用户作为认证用户，在公网直接访问 Yarn、HDFS、SparkHistory等服 务的 Web UI。1.2.授权（Authorization）授权是任何计算环境的基本安全要求之一。其目标是确保只有适当的人员或流程才能 访问、查看、使用、控制或更改特定的资源、服务或...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
SLS多云日志采集、处理及分析 最佳实践 业务架构 场景描述 从第三方云平台或线下 IDC服务器上采集 日志写入到阿里云日志服务，通过日志服 务进行数据分析，帮助提升运维、运营效 率，建立 DT 时代海量日志处理能力。针对未使用其他日志采集服务的用户，推 荐在他云或线下服务器安装 logtail采集并使 用 Https安全传输；针对...
云消息队列 MQTT 版
云消息队列 MQTT 版是专为移动互联网(MI)、物联网(IoT)领域设计的消息产品，覆盖直播互动、金融支付、智能餐饮、即时聊天、移动 Apps、智能设备、车联网等多种应用场景；通过对 MQTT、WebSocket 等协议的全面支持，连接端云之间的双向通信，实现 C2C、C2B、B2C 等业务场景之间的消息通信，可支撑千万级设备与消息并发。
云消息队列 Kafka 版.Apache Kafka 全托管消息服务，大数据生态中不可或缺的消息产品，具备开箱即用、无缝迁移、安全可靠、免运维等特点.云消息队列 RabbitMQ 版.兼容 AMQP 标准协议以及 RabbitMQ 开源生态与多语言客户端，开箱即用，免运维，更安全、更可靠.云消息队列 RocketMQ 版.阿里巴巴官方指定消息产品，成熟、稳定...
来自：
云产品
企业服务与云通信
围绕企业全生命周期，阿里云提供生产、采购、售前、售中、售后，到金融、研发在内的服务，同时可提供以PaaS或SaaS云化的网络连接能力、互联网通信能力、通信类应用能力的产品族，助力客户快捷、高效地触达用户。企业服务与云通信包含企业云服务、企业基础服务、钉钉和云通信等产品。
机器人流程自动化 RPA.Teambition 企业协同.Chat App 消息服务.阿里巴巴进入Gartner《企业低代码平台魔力象限》.国际咨询机构Gartner®正式发布了2022年《企业低代码平台魔力象限》，阿里巴巴成为首次入选该象限的中国厂商之一，被评为利基者（Niche Players）。Gartner预测，到2025年，全球低代码开发技术整体收入将达到...
来自：
云产品
阿里邮箱协同办公解决方案
阿里邮箱源自于云计算技术，具有高稳定高可用性弹性扩展的容器化技术架构，实现安全，稳定，智能、高效的企业邮箱应用，方案具有公有云SaaS服务、本地独立部署，全栈国产化部署等多种构建方式，与钉钉无缝集成实现便捷、互通、高效的统一协同办公体验
与钉钉天然集成，实现邮件与钉钉的组织架构、通讯录、日历、钉盘、消息、音视频、Ding 等能力无缝集成.全球畅联的企业邮箱服务.依托阿里云全球化数据中心、专线网络、智能 DNS 解析、高信誉度 IP 和智能投递等技术，有效地解决海外邮件收发网络链路长、IP 信誉低、RDNS 反向检查容易失败等问题.图文卡片（支持一行2、3、4）...
来自：
解决方案
低代码电商直播间解决方案
低代码电商直播间解决方案,基于阿里云云原生、音视频、AI 智能算法和网络等先进技术，通过低代码方式接入，帮助企业快速完成在自有 APP、小程序、网站等平台的私域电商直播间的搭建。其易接入且强扩展的特性，既可以满足企业定制需求，又可以降低时间成本，快速验证直播卖货商业模式。
从推流、分发到播放提供一体化音视频服务，全球直播加速结合弹性伸缩服务，应对突发访问流量，保障直播流畅和稳定；\ \ 基于多模态内容理解 AI 技术，提供图片、视频、音频等多类型媒体审核服务，对敏感信息实时识别审核，保障直播内容安全.图文卡片（支持一行2、3、4）.靖鑫,也树,徐衡,别针.在客户自有网站和 APP 内搭建...
来自：
解决方案
云监控
云监控（CloudMonitor）是阿里云提供的一站式、全链路、开箱即用的云资源监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，第一时间发现和定位问题构建完善的监控运维体系。
您可以订阅这些事件，云监控会将事件实时投递到您的消息服务队列、函数计算等下游云服务中，以便您可以通过程序处理这些异常事件和状态变更，从而实现故障的快速自愈.涵盖弹性计算、数据库、网络等核心云产品数百个系统事件.多样的自动处理工具.通过将事件发送到消息服务队列、函数计算、日志服务以及Webhook等多种方式实现...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
应用实时监控服务 ARMS.作为云原生可观测平台，应用实时监控服务提供全栈性能监控告警与端到端追踪诊断能力。覆盖浏览器、小程序、APP 等客户端环境，观测与分析用户行为、页面性能，精准把握用户体验。覆盖分布式、微服务等应用架构与容器、Serverless 等部署环境，对服务调用、系统负载等进行监控与调用链分析，全面洞察...
来自：
云产品
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
步骤7 运行 flume agent 文档版本：20201020 22 基于 Dataworks的大数据一站式开发及数据治理 日志采集 执行以下命令后台运行 flume agent：nohup flume-ng agent-name a1-conf$FLUME_HOME/conf-conf-file$FLUME_HOME/conf/flume-conf.properties-Dflume.root.logger=INFO,console&2>&1&步骤8 查询 kafka中是否已有消息，...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
开通以下服务：ￚ 云消息队列 Kafka ￚ E-MapReduce EMR ￚ DataWorks ￚ 大数据计算服务 MaxCompute ￚ 云速搭 CADT 文档版本：20240419 2 大数据近实时数据投递 MaxCompute 1.资源环境部署 本实践可使用云速搭 CADT快速部署资源环境，CADT使用手册请参见：https://help.aliyun.com/document_detail/186134.html 应用架构 ...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
IP2Region.java 通过 NAT 网 关 配 置 SNAT 访 问 公 网 服 务 http://whois.pconline.com.cn/ipJson.jsp?json=true&ip={ip}获取地理位置信息。本方式 仅演示外网访问和自定义函数 UDX，不适合生产环境使用。public class IP2Region extends TableFunction>{ private String urlPrefix=...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
6.1.HDFS数据迁移到 JindoFS缓存模式存储空间 本实践方案中使用 EMR-3.22.4版本，创建集群时默认包含了 Bigboot和 SmartData 服务。SmartData提供的 JindoFS文件系统使用 OSS作为存储后端，在使用 JindoFS 之前需要在 Bigboot中配置 OSS相关参数。6.1.1.设置 JindoFS参数 步骤1 查看 Bigboot和 SmartData服务状态 文档版本...
- 产品推荐
- 这些文档可能帮助您