基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
实现多RAM权限精细化控制的前提下，实现阿里云Kafka实例之间消息、元数据同 步。 在不同Region，不同VPC下，模拟Kafka异地容灾。阿里云Kafka实例在北京Region，在ECS上自建开源Kafka在上海Region，VPC之间通过VPC对等连接打通。 实现阿里云Kafka向其他地域的自建Kafka消息实时、元数据实时同步的场景。 该场景也...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
利用函数计算 FC，可以快速高效的搭建数据处理链路，用户只需要 关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函 产品列表 数计算 FC也支持多种下游，OSS/数据库/消息队 列/ES等都可以自定义的对接。专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 ...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
ACR企业版支 持全球同步加速、大规模和大镜像分发加速、多代码源构建加速等全链路加速能 力，与容器服务 ACK无缝集成，帮助企业降低交付复杂度，打造云原生应用一 站式解决方案。文档版本：20240325 III 基于 FC实现的 Web端视频录制最佳实践 目录 目录 文档版本信息.I 法律声明.II 前言.III 目录.IV 最佳实践概述.1 前置...
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
使用Kafka Connect将SQL Server数据同步至消息队列Kafka版.从开源 Kafka 迁移到云消息队列 Kafka 最佳实践.近期重要发布.查看全部日志.查看更多商品.“阿里巴巴官方指定消息产品，成熟、稳定、先进的技术体系打造金融级消息服务，感受双十一产品的完美体验”.云消息队列 RocketMQ 版.“即RocketMQ 轻量版，提供轻量模型、轻...
来自：
云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
（这里有异步调用和同步调用两种方式，为了能快速消费消息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）l 触发器启用状态：勾选 13 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 部署基础环境 l 批量推送：默认关闭。（可以选择...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
步骤8 确认订单阶段会列出架构中所有的产品及其价格，需要用户确认无误后勾选接受《云 速搭服务条款》，此时下一步：支付并创建才会高亮，可以单击进行实际的资源购买 和部署。此次方案涉及到云产品费用12.47元/时（不含流量型产品，数据参考20240229官网 数据）步骤9 等待分钟级后，查看应用状态为“部署成功”部署时长与...
云数据库 SelectDB 版
阿里云数据库 SelectDB 是现代化实时数据仓库 SelectDB 在阿里云上的全托管服务，内核基于业界领先的开源分析型数据库 Apache Doris 研发，由阿里云和飞轮科技联合打造。阿里云数据库 SelectDB 聚焦于满足企业级大数据分析需求，广泛应用于实时报表分析、即席多维分析、日志检索分析、数据联邦与查询加速等场景，致力于为客户提供极致性能、简单易用的数据分析服务。
简化统一开发体验基于 SelectDB 的湖仓互通、轻量级 ELT 能力，无缝完成数据源到数仓的数据同步、清洗过程，无需依赖 Spark 和 Flink。使用 SelectDB 作为统一查询网关，无需进行多系统切换及 SQL 方言兼容处理。极速数据分析基于 SelectDB 领先的查询分析引擎，结合数据缓存、统计信息收集等，SelectDB 分析性能可达 ...
来自：
云产品
CDH迁移升级CDP最佳实践
当前 CDH 免费版停止下载，终止服务，针对需要企业版服务能力并且CDH 升级过程对业务影响较小的客户，通过安装新的 CDP 集群，将现有数据拷贝至新集群，然后将新集群切换为生产集群，升级过程没有数据丢失风险，停机时间较短，适合大部分互联网客户升级使用。
最大 AM 份额：限制可用于运行应用程序主机的队 列公平份额的比例 最大正在运行的应用程序：限制队列中一次运行的应 用程序数量 最大容器分配：队列可以为单个容器分配的最大资源 量。队列的调度策略（例如，提交的应用程序如何随时间 排序）。它的转换有一些限制。有关更多信息，请参阅Fair Scheduler 功能和转换详细信息...
AnalyticDB MySQL湖仓版的用户运营分析实践
本方案只需一个湖仓版实例就能完成“数据入湖+作业开发+在线分析”的一站式用户运营数据分析，提供更高效的数据处理方案与更低的数据存储成本。
相关产品云原生数据仓库 AnalyticDB MySQL 版云数据库 RDS MySQL 版云消息队列 Kafka 版对象存储 OSSQuick BI 数据可视化分析平台在线咨询方案优势实时入湖海量Kafka数据通过APS链路实时入湖。湖仓一体数据可自由在湖仓和数仓之间流转。既具备湖仓的灵活性，又具有数仓的规范性、高效性。资源隔离与弹性伸缩离线资源与在线...
来自：
解决方案
Function Compute构建高弹性大数据采集系统
当前互联网很多场景都存在需要将大量的数据信息采集起来然后传输到后端的各类系统服务中，对数据进行处理、分析，形成业务闭环。比如游戏行业中的游戏发行、游戏运营，产互行业中的数字营销，物联网、车联网行业中的硬件、车辆信息上报等等。这些场景普遍存在数据采集量大、数据传输需要稳定且吞吐量大的特点，给整个数据采集传输系统带来很大的挑战。在这个场景中，有三个关键的环节，数据采集、数据传输、数据处理。该最佳实践主要涉
所属区域：只读，和第一步中所选的 Region对应。功能描述：自行输入。绑定日志：自动将 FC服务和日志服务 SLS打通并关联。建议勾选。开启链路追踪：自动将 FC服务和链路追踪打通，方便查看、追踪函数执行的链路信息。建议 勾选。函数类型：我们刚才选择了 HTTP函数，即该函数是通过 HTTP接口触发拉起的。如果是事 件函数，...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
明细数据层生成 从消息队列 Kafka的 Topic：app_log读取预处理日志，通过实时计算 Flink进行实时 ETL处理（维表 JOIN和自定义函数处理），再将生成的明细数据层数据发送到消息队 列 Kafka的 Topic：app_log_dwd。4.2.2.1.自定义函数 UDX开发 步骤1 搭建实时计算自定义函数的环境。从演示环境说明中下载的示例 demo代码包含 ...
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
JindoFS包含以下两种模式的存储空间：缓存（Cache）模式 缓存模式兼容现有 OSS存储方式，文件以对象的形式存储在 OSS上，每个文件 根据实际访问情况会在本地进行数据和元数据的缓存，从而提高访问数据以及元 数据的性能，Cache 模式提供不同元数据同步策略以满足用户在不同场景下的需 求。块存储（Block）模式 块存储模式...
开源Flink迁移实时计算Flink全托管版最佳实践
本方案介绍如何将自建开源Flink集群的流式任务（包含Datastream、Table/SQL、PyFlink任务）迁移至阿里云实时计算全托管版。
文档版本：20211222 8 开源 Flink迁移实时计算Flink全托管版 基础环境搭建 1.1.2.Flink集群资源评估 阿里云实时计算 Flink版产品按照 CU 计费，1CU=1Core+4G MEM，参考产品官 方介绍，每个计算 的 CU 节点每秒钟处理能力如下：简单作业(指仅仅进行数据同步，或者在数据同步中涉及一些简单的过滤清洗)1.每个计算 CU 可处理 ...
同地域跨可用区容灾
场景描述 面向阿里云公共云客户， 1.业务在同一个地域（Region） 2.应用已经无状态 3.在不大幅增加成本的情况下，希望获得支持业务的跨可用区（Zone）容灾能力 3.希望对整体的应用做容灾备份（简称容灾），而非单独的数据库或存储等 解决问题 提供云上高可用架构方案并提供可参考的跨可用区架构提供简单的容灾演练 产品列表 云服务器（ECS）、数据库（RDS）、专有络（VPC）、负载均衡（SLB）、消息队列（MQ）等
同地域跨可用区容灾 最佳实践 业务架构图 场景描述 面向阿里云公共云客户，1.业务在同一个地域（Region）2.应用已经无状态 3.在不大幅增加成本的情况下，希望获得支持业务的跨可用区（Zone）容灾能力 3.希望对整体的应用做容灾备份（简称容灾），而非单独的数据库或存储等 解决问题 提供云上高可用架构方案 并提供可参考的...
EHPC混合云渲染
介绍在混合云环境下，利用E-HPC及其文件缓存机制，无缝读取线下存储中的项目资产，免去复杂繁琐的文件同步问题；充分利用云上资源弹性、按使用付费的优势，构建高性能、高可靠和可扩展的渲染服务。 解决问题 l混合云环境下本地集群与云端集群一体化的渲染服务。 l避免繁琐复杂的本地与云端的文件同步问题。 l低成本、高效率应对渲染业务峰值。 产品列表 l云服务器、GPU云服务器 l高性能计算E-HPC l专有网络VPC l云企业网CEN l弹性公网IP EIP l访问控制RAM l文件存储NAS
E-HPC混合云渲染最佳实践 场景描述 部署架构图：介绍在混合云环境下，利用 E-HPC及其文件缓存 机制，无缝读取线下存储中的项目资产，免去复 杂繁琐的文件同步问题，充分利用云上资源弹 性、按使用付费的优势，构建高性能、高可靠和 可扩展的渲染服务。解决问题 混合云环境下本地集群与云端集群一体化的渲染 服务。避免繁琐...
Spring Cloud Netflix应用迁移EDAS
场景描述 Spring Cloud Netflix微服务应用迁移到EDAS 服务（SpringCloud Alibaba云版本）的方法， 迁移后充分利用阿里云监控、调用链、限流降级 等能力，优化应用生命周期管理。 解决问题 1.帮助自建SpringCloudNetflix微服务应用 通过简单修改迁移到阿里云企业级分布式 应用服务（EDAS）平台。 2.迁移到EDAS后，简化应用的运维，提升监 控、调用链探测、限流降级等管理能力，提 高对应用的全生命周期管理。 产品列表 企业级分布式应用服务（EDAS） 负载均衡（SLB） 专有网络（VPC） 云服务器（ECS）
如果应用状态不正常，可以单击应用名称，选择实例部署信息页签，单击对应实例操 作列下的日志，查看部署日志。查看日志的页面如下图所示：选择下面日志，查看具体日志报错信息。步骤13 修改 ECS白名单。1.为了确保各个微服务之间的网络连接，请打开 4000到 9000端口的通讯信息。单 击需要设定白名单的 ECS。文档版本：...
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
consumer.sh-bootstrap-server core-1-1:9092-topic message-from-beginning-max-messages 10 文档版本：20240419 15 大数据近实时数据投递 MaxCompute 4.EMR Kafka数据拉取至消息队列 Kafka 在本实践中，云上环境使用独立 ECS部署 MirrorMaker服务同步 EMR Kafka集群 数据至云上阿里云消息队列 Kafka，再通过数据同步至 ...
- 产品推荐
- 这些文档可能帮助您