基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
文档版本：20240330 2基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 部署基础环境 步骤2 本实践需要使用事件总线EventBridge，请先通过控制台进行服务开通。请访问https://eventbridge.console.aliyun.com/overview 如出现下图，代表当前账号是首次使用EventBridge，请点击免费开通。根据提示完成开通操作。...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
文档版本：20240502 2基于函数计算FC实现物联网音视频处理最佳实践 场景验证 步骤2 本实践需要使用事件总线EventBridge，请先通过控制台进行服务开通。请访问https://eventbridge.console.aliyun.com/overview 如出现下图，代表当前账号是首次使用EventBridge，请点击免费开通。根据提示完成开通操作。文档版本：20240502 3...
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
本实践需要使用事件总线 EventBridge，请先通过控制台进行服务开通。请访问 https://eventbridge.console.aliyun.com/overview 根据提示完成开通操作。文档版本：20240408 2 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 点击关闭后进行服务授权。文档版本：20240408 3 基于函数计算 FC实现阿里云 Kafka...
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台，提供多样的应用发布能力和轻量级微服务解决方案，帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题，完全兼容Dubbo和Spring Cloud，助您轻松转型企业级互联网架构。
企业级分布式应用服务 EDAS.查看更多商品.阿里云EDAS 3.0 助力成都信通“消费券”项目，平稳度过大流量、高并发的业务场景.成都信通“消费券”项目.阿里云EDAS 3.0 助力佐朋数科轻松驾驭容器快速上云.深圳佐朋数科.通过引入阿里云原生产品方案，畅捷通的系统架构在面对复杂业务下的频繁迭代时，表现得稳定、弹性、高可用....
来自：
云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
首次使用的用户可能会出现相关服务的授权提示，如下图所示，帐号首次使用 Kafka 服 务，会校验出账号没有进行过 Kafka 服务授权提示。按照提示点击进行授权链接，跳转到对应产品的授权页面进行授权操作。授权后，回到 CADT 页面点击返回 17 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
ECS规格：c7.4xlarge，数 连线，类型选择 量为2 PodAndNode 微服务治理 支付方式：按量，企业版 2C4G，2节点，固定可用 开通监控prometheus 云原生网关 微服务引擎 区 和SLS MSE 支付方式：按量 建议生产环境选择企 注册中心 引擎类型：Nacos 业版本 开发版，1C2G，1节点 不提供公网带宽 默认创建：支付方式：按量 topic：...
云服务总线CSB
云服务总线CSB是一个基于高可用分布式技术构建的服务API开放平台，帮助企业打通内外新旧系统，实现跨技术平台、跨应用系统、跨企业组织的服务互通，以服务API的形式，加以一致的组织和管控，构建企业内部以及与上下游、第三方企业之间融合、重塑、创新的合作平台。
位于企业内部数据中心的业务系统，与企业在云上的业务系统之间，通过各自环境内云服务总线CSB实例之间“桥接”实现的服务通道，把各自的服务在对方云CSB实例上发布成API，进行管理和授权，让对方可以订阅和访问.企业能力可对外开放，也可引入外部能力内部使用.内外能力双向开放.可对接基于不同技术架构构建的系统和端，统一...
来自：
云产品
日志服务sls
日志服务（Log Service，简称Log）是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立DT时代海量日志处理能力。
日志服务产品介绍与入门.了解如何快速使用日志服务.日志服务提供丰富API&SDK.不同场景下日志服务的最佳实践.“存”享优惠火热来袭，存储全系产品百元包年.“存”享优惠火热来袭，存储全系产品百元包年.立即开通/登录.日志服务（Simple Log Service，简称 SLS）是云原生观测分析平台，为 Log/Metric/Trace 等数据提供大规模...
来自：
云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
数据总线 DataHub.数据集成 Data Integration.大数据专家服务.数据资源平台.智能数据建设与治理 Dataphin.Databricks 数据洞察.网络安全升级支持IPV6.天弘基金成立于2004年11月8日，是经中国证监会批准设立的全国性公募基金管理公司之一，目前注册资本5.143亿元。2013年，天弘基金与支付宝合作推出余额宝，是天弘余额宝货币...
来自：
云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
企业级分布式应用服务 EDAS.应用高可用服务 AHAS.应用实时监控服务 ARMS.消息队列 MQ.分布式云容器平台 ACK One.容器服务 ACK 发行版.Prometheus 监控服务.Grafana 服务.事件总线 EventBridge.云服务总线 CSB.云原生应用交付平台 ADP.Serverless 工作流.服务网格 ASM.应用配置管理 ACM.云原生应用平台.API 网关.运维事件...
来自：
云产品
云速搭部署Flink应用
本水煎通过云速搭实现一个DataHub+Flink的实时流计算引擎架构，利用DataHub收集原始数据，推送到Flink进行基于流式数据的分析和应用。
已开通以下服务：ￚ 专有网络 VPC ￚ 云速搭 CADT ￚ 实时计算 Flink ￚ 数据总线 DataHub ￚ 对象存储 OSS 文档版本：20211103 2 云速搭部署 Flink应用 产品介绍 产品介绍 云速搭 CADT：是一款为上云应用提供自助式云架构管理的产品，显著地降低应 用云上管理的难度和时间成本。本产品提供丰富的预制应用架构模板，同时也...
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
江铃汽车股份有限公司作为中国TOP 20汽车制造厂商、《财富》中国企业500强，在大数据建设方面选择与阿里云强强合作，通过阿里云实时计算平台为公司构建统一的实时计算中心，服务于车辆中心、智慧车队、实时大屏三大业务线的多个实时场景，实现了实时业务的秒级响应，并成功帮助业务部门提高决策效率.查看案例详情.畅捷通的...
来自：
云产品
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新.云...
来自：
云产品
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构 建基于流式数据的分析和应用。详见：https://www.aliyun.com/product/datahub 实时计算 Flink 版：实时计算 Flink 版...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
数据总线DataHub.推荐搭配使用.为了快速数智化转型，拥抱新零售，新零售企业通过DataWorks构建数据中台，可以帮助企业降低TCO的同时，更好的依托云上生态，实现数据资产业务化闭环.新零售数据中台建设.业务多维分析.业务数据化，全域数据中台构建数智底座.数据业务化，数据综合治理驱动业务增长.实时计算Flink版.推荐搭配...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您