实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
内置集成数十种连接器，覆盖数据库、消息队列、OLAP引擎等系统。自助编写SQL使用全托管服务对数据进行实时流转集成，帮助企业构建数据中台.从海量数据中实时识别刷单作弊、恶意爬虫等业务风险，避免企业出现巨大的经济损失，还可借助CEP（复杂事件处理）直接在流式处理作业中执行异常情况检测.实时计算Flink版高效的状态...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
在 Kafka队列的 ECS上启动一个 Consumer（消费者）进程，用于查看队列中收 到的日志消息。首先通过 SSH登录到后台，然后执行如下命令（下面两行为同一 条命令，在第一行末尾有换行符“\”）：/opt/kafka/bin/kafka-console-consumer.sh-bootstrap-server \ Kafka所在 ECS的 VPC IP地址:9092-topic log-generator-topic 文档...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
kafka-console-consumer.sh-bootstrap-server core-1-1:9092-topic message-from-beginning-max-messages 10 文档版本：20240419 15 大数据近实时数据投递 MaxCompute 4.EMR Kafka数据拉取至消息队列 Kafka 在本实践中，云上环境使用独立 ECS部署 MirrorMaker服务同步 EMR Kafka集群 数据至云上阿里云消息队列 Kafka，再...
EMR集群安全认证和授权管理
场景描述 阿里云EMR服务Kafka和Hadoop安全集群使 用Kerberos进行用户安全认证，通过Apache Ranger服务进行访问授权管理。本最佳实践中以 Apache Web服务器日志为例，演示基于Kafka 和Hadoop的生态组件构建日志大数据仓库，并 介绍在整个数据流程中，如何通过Kerberos和 Ranger进行认证和授权的相关配置。 解决问题 1.创建基于Kerberos的EMR Kafka和 Hadoop集群。 2.EMR服务的Kafka和Hadoop集群中 Kerberos相关配置和使用方法。 3.Ranger中添加Kafka、HDFS、Hive和 Hbase服务和访问策略。 4.Flume中和Kafka、HDFS相关的安全配 置。 产品列表：E-MapReduce、专有网络VPC、云服务器ECS、云数据库RDS版
步骤2 查看 Flume后台日志，发现有报错信息：cd/mnt/disk1/log/flume/default-agent tail-f flume.log 说明该 Flume没有权限消费 Kafka队列的消息，需要通过 Kafka集群的 Ranger配置 消费消息队列的权限。文档版本：20200330 82 EMR集群安全认证和授权管理 EMR Hadoop安全集群和网关集群 步骤3 参考章节 2.6.3，编辑 Kafka...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
1.4.安装 Apache Hadoop 步骤1 下载 Apache Hadoop安装压缩包。在 Apache官方网站(https://archive.apache.org/dist/hadoop/common/)下载对应需要 的压缩包。步骤2 Hadoop安装压缩包，建议选用的 Apache Hadoop版本不低于 2.7.2。本实践使用的 Hadoop版本为 2.7.4。文档版本：20200409 4 Spark on ECI大数据分析 环境准备 ...
云原生大数据计算服务MaxCompute
阿里云云原生大数据计算服务MaxCompute是面向分析的企业级云数仓，作为一体化大数据智能计算平台ODPS的大规模批量计算引擎，MaxCompute以 Serverless 架构提供快速、全托管的在线数据仓库服务，使您经济高效的分析处理海量数据，进行敏捷的业务洞察。
消息队列 Kafka 版.便捷地对离线数据进行分析加工.实现MaxCompute表数据的可视化分析.与MaxCompute集成，实现可视化分析.帆软 FineBI.联合发布企业级BI分析解决方案.基于Kettle的MaxC插件数据上云.89A_更多产品与服务.解决方案与最佳实践.更多行业与通用解决方案>.89A_标题-new.互联网银行解决方案.互联网+监管解决方案....
来自：
云产品
高弹性，低成本，云消息队列 RabbitMQ实践
随着业务增长，企业对消息队列性能和稳定性的需求提高，运维成本也随之增加。云消息队列 RabbitMQ 版通过架构优化避免了消息积压导致的内存泄漏和服务器故障等稳定性问题，解决了分布式系统中的脑裂难题，并支持弹性伸缩和按量计费，有效降低资源和运维成本。
方案架构包含消息生产者、消息队列、消息消费者三个核心模块。消息在云消息队列 RabbitMQ 版的组件之间流动过程为：1.生产者向 Exchange 发送消息；2.Exchange 根据消息属性将消息路由到 Queue 进行存储；3.消费者从 Queue 拉取消息进行消费。立即部署 30分钟 0.5元（包含收发消息次数25万次）（如果您调整了资源规格、使用...
来自：
技术解决方案
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC，可以快速高效的搭建数据处理链路，用户只需要 关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函 产品列表 数计算 FC也支持多种下游，OSS/数据库/消息队 列/ES等都可以自定义的对接。专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 ...
云消息队列 RabbitMQ 版
云消息队列 RabbitMQ 版是阿里云打造的云消息服务，广泛用于海量队列分发、分布式定时任务等场景。支持 AMQP 协议，开箱即用，轻松实现快速上云，更专业、更可靠、更安全。
云消息队列 RabbitMQ 版.云消息队列 RabbitMQ 版是一款基于自研的分布式存储架构实现的 AMQP 0-9-1 协议的消息产品。Serverless 系列打破固定资源付费模式，按量付费可节省大量成本。云消息队列 RabbitMQ 版兼容开源 RabbitMQ 客户端，解决开源各种稳定性痛点（例如消息堆积、脑裂等问题），提供多可用区高可用的稳定服务....
来自：
云产品
轻量消息队列（原 MNS）
轻量消息队列（原 MNS）是一款易集成、高并发、可弹性扩展的轻量消息队列服务。轻量队列模型、按量后付费的计费模式、自动适应高并发的弹性可扩展能力，让开发者低成本快速构建分布式、松耦合系统，高效地传递数据和通知消息。
消息队列 RocketMQ.\\b消息队列 kafka.微消息队列 MQTT.消息队列 AMQP.【新特性推出】发布AMQP，兼容开源RabbitMQ.【高级特性】顺序消息，FIFO 特性满足业务差异化需求.【重磅出击】全球消息路由解决跨地域、远距离、毫秒级消息实时同步难题.【高级特性】事务消息全新升级，解决分布式事务最终一致性的最佳实践.高可用松...
来自：
云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
云消息队列RocketMQ版：是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台，面向互联网分布 式应用场景提供微服务异步解耦、流式数据处理、事件驱动处理等核心能力。文档版本：20240506 6RocketMQ性能压测快速方案 前置条件 前置条件 在进行本文操作之前，您需要...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
云消息队列 MQ（RocketMQ）：是构建分布式互联网应用的基础设施，通过 MQ 实现的松耦合架构 设计可以提高系统可用性以及可扩展性，是适用于现代应用的优秀设计方案。MQ 产品生态丰富，多 个子产品线联合打造金融级高可用消息服务以及对物联网的原生支持，覆盖金融保险、（新）零售、物联网、移动互联网、教育、物流、...
- 产品推荐
- 这些文档可能帮助您