基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
本实践需要使用事件总线 EventBridge，请先通过控制台进行服务开通。请访问 https://eventbridge.console.aliyun.com/overview 根据提示完成开通操作。文档版本：20240408 2 基于函数计算 FC实现阿里云 Kafka消息轻量级 ETL处理 场景验证 点击关闭后进行服务授权。文档版本：20240408 3 基于函数计算 FC实现阿里云 Kafka...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
（函数中业务代码的执行时长，可根据函数承载的业 务自行设置其他时间，最大支持 24 小时）l 请求处理程序：index.handler（函数的入口函数名称，index 为文件名，handler 为 函数名）l 环境变量：默认设置连接 MongoDB 需要的属性，但具体的值需要后续在函数控制 台编辑。n mongodb_endpoint：MongoDB 连接地址 n mongodb_...
企业级分布式应用服务EDAS
阿里云企业级分布式应用服务EDAS是一个围绕应用和微服务的PaaS平台，提供多样的应用发布能力和轻量级微服务解决方案，帮助用户解决在应用和服务管理过程中监控、诊断和高可用运维问题，完全兼容Dubbo和Spring Cloud，助您轻松转型企业级互联网架构。
企业级分布式应用服务EDAS（Enterprise Distributed Application Service）是一个应用PaaS平台，一站式集成微服务、可观测、任务调度等技术；以专业易用的应用全生命周期管理、流量及容量治理等功能，配合业务视角的验收、资源管控与成本优化能力，助力企业应用架构云原生化升级.企业级分布式应用服务 EDAS.查看更多商品....
来自：
云产品
云服务总线CSB
云服务总线CSB是一个基于高可用分布式技术构建的服务API开放平台，帮助企业打通内外新旧系统，实现跨技术平台、跨应用系统、跨企业组织的服务互通，以服务API的形式，加以一致的组织和管控，构建企业内部以及与上下游、第三方企业之间融合、重塑、创新的合作平台。
协议数据转换.提供常用协议服务的接入、开放和转换，支持灵活定制化的数据变换，以支撑从简单的应用间调用，到新建与遗留系统之间，以及企业...云服务总线（Cloud Service Bus，简称CSB）提供平台化的服务开放能力，帮助企业打通整合内外新旧业务系统，实现跨环境、跨归属应用系统之间的互通，形成组合方案.云服务总线 CSB.
来自：
云产品
日志服务sls
日志服务（Log Service，简称Log）是针对实时数据一站式服务，在阿里集团经历大量大数据场景锤炼而成。无需开发就能快捷完成数据采集、消费、投递以及查询分析等功能，帮助提升运维、运营效率，建立DT时代海量日志处理能力。
日志服务产品介绍与入门.了解如何快速使用日志服务.日志服务提供丰富API&SDK.不同场景下日志服务的最佳实践.“存”享优惠火热来袭，存储全系产品百元包年.“存”享优惠火热来袭，存储全系产品百元包年.立即开通/登录.日志服务（Simple Log Service，简称 SLS）是云原生观测分析平台，为 Log/Metric/Trace 等数据提供大规模...
来自：
云产品
数据管理与服务
数据管理与服务作为阿里云产品六大版块之一，面向不同业务场景，阿里云提供数据存储、分析、应用等全链路能力，满足企业客户全方位的数据处理需求，实现计算和存储分离、资源解耦、数据移动减化，用以满足行业快速发展的需求和趋势，利用数据重塑其业务。
开源大数据平台E-MapReduce将技术引领优势转化为云上产品服务能力，重磅发布E-MapReduce 2.0，面向未来构建下一代开源大数据基础设施，弹性优化能力提升3倍，伸缩规模达千台，3分钟即可创建100节点的数据湖集群.阿里云开源大数据产品矩阵再升级.2022云栖大会上，阿里云资深产品专家分享基于强大的大数据AI一体化的平台能力...
来自：
云产品
云基础产品与基础设施
云基础产品与基础设施作为阿里云产品六大版块之一，主要包含弹性计算、存储、网络、安全、云原生应用平台以及无影和基础设施类产品，向客户提供高度自动化的标准化产品对网络功能、计算机（虚拟或专用硬件）和数据存储空间进行访问，同时支持灵活扩展，可以直接使用自助服务界面。
大数据分析与营销科技服务提供商神策数据与阿里云计算巢展开合作，通过阿里云计算巢平台实现神策分析云上数字营销和分析系统的自动化部署，围绕“降低企业运营成本”“提升应用交付效率”两大核心目标，共探云端私有化部署新形态.当下 Serverless 技术已经成为所有企业和开发者的首选之一，随着 Serverless 的发展，应用的...
来自：
云产品
实时计算Flink版
实时计算Flink版是阿里云提供的全托管Serverless Flink云服务，具备实时应用的作业开发、数据调试、运行与监控、自动调优、智能诊断等全生命周期能力。内核引擎100%兼容Apache Flink，2倍性能提升，拥有FlinkCDC、动态CEP等企业级增值功能，内置丰富上下游连接器，助力企业构建高效、稳定和强大的实时数据应用。
江铃汽车股份有限公司作为中国TOP 20汽车制造厂商、《财富》中国企业500强，在大数据建设方面选择与阿里云强强合作，通过阿里云实时计算平台为公司构建统一的实时计算中心，服务于车辆中心、智慧车队、实时大屏三大业务线的多个实时场景，实现了实时业务的秒级响应，并成功帮助业务部门提高决策效率.查看案例详情.畅捷通的...
来自：
云产品
云消息队列 ApsaraMQ
云消息队列 ApsaraMQ 是阿里云自主研发的消息队列服务系列产品的总称，旨在为开发者和企业的不同业务场景提供强大、可靠、低成本、高弹性且易于管理的消息服务。云消息队列 ApsaraMQ 全系列产品提供 Serverless 化的消息服务，按实际使用量付费，自适应弹性，跨可用区容灾，帮助客户降低使用和维护成本，专注业务创新。
RocketMQ x EventMesh Open Day 线上直播（一）《云原生消息、事件、流超融合平台—— RocketMQ 5.0 初探》.RocketMQ x EventMesh Open Day 线上直播（三）《基于 OpenSchema 的 SchemaRegistry 实现》.RocketMQ x EventMesh Open Day 线上直播（四）《基于 RocketMQ 构建阿里云事件驱动引擎——EventBridge》.RocketMQ x ...
来自：
云产品
数据集成 Data Integration
阿里云数据集成 Data Integration是跨异构数据、低成本、弹性扩展的数据采集同步平台，为DataX的商业版，支持ETL，支持50+数据源跨网络离线(全量/增量)同步。
阿里巴巴十二年数据中台建设黄金搭档，快速落地企业大数据开发与治理平台.数据开发与治理产品包.实时、离线一体化大数据平台建设，提供百亿数据亚秒级查询能力.数据加速分析产品包.活动中涉及“折扣”、“优惠”、“×折”或“省×元”，指相同规格产品的价格在本次活动与无任何活动时的比较.离线同步支持的数据源.实时同步...
来自：
云产品
金融专属大数据workshop
实践目标 学习搭建一个实时数据仓库，掌握数据采集、存储、计算、输出、展示等整个业务流程。 整个实时数据仓库系统全部基于阿里云产品进行架构搭建，用户可以掌握并学会运用各个服务组件及各个组件之间如何联动。 理解阿里云原生实时离线一体数仓解决方案架构以及掌握交付落地的实践使用方法。 前置知识要求 熟练掌握SQL语法 对大数据体系系统知识有一定的了解
详见：https://www.aliyun.com/product/ecs DataHub：数据总线(DataHub)服务是阿里云提供的流式数据(StreamingData)服 务，它提供流式数据的发布(Publish)和订阅(Subscribe)的功能，让您可以轻松构 建基于流式数据的分析和应用。详见：https://www.aliyun.com/product/datahub 实时计算 Flink 版：实时计算 Flink 版...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据workshop
大数据workshop
Flink 版：实时计算 Flink 版（Alibaba Cloud Realtime Compute for Apache Flink，Powered by Ververica）是阿里云基于 Apache Flink 构建的企 业级、高性能实时大数据处理系统，由 Apache Flink 创始团队官方出品，拥有 全球统一商业化品牌，完全兼容开源 Flink API，提供丰富的企业级增值功能。详见：...
来自：
最佳实践
相关产品：块存储,云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,弹性公网IP,数据传输,DataWorks,大数据计算服务 MaxCompute,DataV数据可视化,实时计算,数据总线,Quick BI,Hologres
大数据近实时数据投递MaxCompute
本文介绍离线大数据场景使MaxCompute构建云 上近实时数仓，打通云下数据上云链路，解决数据复杂类型支持和动态分区问题，满足高级数据处理需求的最佳实践。 l混合云环境下，现有业务系统零改造，打通数据上云链路。 l使用UDF实现复杂数据类型转换和数据动态分区。 l使用DataWorks配置周期调度业务流程，数据自动入仓。 l借助MaxCompute优化计算引擎，实现降本增效。 产品列表 云服务器ECS 专有网络VPC 访问控制RAM 数据总线DataHub E-MapReduceEMR DataWorks 大数据计算服务MaxCompute
大幅简化了企业大数据平台的应用架构，具有强数据安 全、低成本、免运维、极致弹性扩展等特点。MaxCompute已与数据集成、DataWorks、QuickBI、机器学习 PAI、ADB、推荐引擎、移动数据分析等大数据产 品打通，可快速集成使用，轻松应对各种大数据应用场景。本文以线下现有业务大数据离线数仓建设为背景，介绍如何在现有业务...
智能LOGO设计服务
智能LOGO设计、海报设计、VI定制设计、包装设计、电商物料设计，中小企业一站式设计服务。
企业智能设计服务是根据用户的设计场景，为您提供智能logo设计，高端logo定制，产品外观设计，品牌物料包装设计服务。
- 产品推荐
- 这些文档可能帮助您