基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
专有网络 VPC 阿里云交换机 解决问题 阿里云安全组•快速搭建起数据处理全链路 阿里云函数计算(FC)•全链路自适应弹性，无需为流量峰谷做频繁 对象存储 OSS 的手工处理 阿里云云消息队列 Kafka 版•内置 CICD平台能力，灰度，回滚，监控开箱 云速搭 CADT 即用•按量付费，没有资源闲置费用 最佳实 践频道 ...
云效Maven公共仓库-阿里云
云效，新型企业级一站式协同研发平台，源于阿里巴巴多年先进的管理理念和工程实践，提供从“需求->编码->测试->发布->运维->运营”端到端的协同服务和研发工具支撑。云效将战略规划、敏捷研发、持续集成、持续交付、DevOps等理念引入银行、保险、民航等大型企业和互联网初创企业，支持公有云、专有云和混合云的协同研发，助力企业产品快速创新迭代和研发效能升级。
视频操作演示.立即开启服务>.支持maven、helm等私库服务.支持maven、helm等私库服务.租户隔离，安全可靠.租户隔离，安全可靠.构建服务结合.与云效构建服务完美结合，自动配置构建时配置，内置相应制品操作组件等.查看云效相关文档.了解如何快速使用云效公有云服务....阿里云对制品下载链路进行深度优化，速度更快，使用更稳定.
来自：
云产品
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 最佳实践 场景描述 业务架构 基于阿里云 Kafka 消息的 Key 或者消息体里的内 容做判断，然后对 MongoDB 做增，删，改的操 作。在传统 ETL 流程的基础上进一步增加了灵活 性和可扩展性。应用场景 在大数据 ETL 场景，将 Kafka 中的消息流转到其 他下游服务...
云效应用交付平台AppStack
阿里云云效AppStack是以应用为核心的云原生应用交付平台，提供一站式应用交付能力，帮助企业建立应用持续交付整体解决方案，加速企业云原生与DevOps转型，提升团队研发效能。
云效测试管理.通过可协作的结构化文档，将知识积累和沉淀下来，并在团队中有效流动，由此提升企业的创造力.专业的交付过程监控和研发效能度量、分析平台.云效效能洞察.提供灵活易用的持续集成、持续验证、持续发布功能，帮助企业高质量、高效率的交付业务.云效AppStack提供从应用定义、应用构建、环境管理、测试执行、应用...
来自：
云产品
云效代码管理 Codeup
云效代码管理 Codeup，10万企业都在用的代码管理平台，提供代码托管、代码评审、代码扫描、质量检测、持续集成等功能，全方位保护企业代码资产，帮助企业实现安全、稳定、高效的研发管理。
云效测试管理.通过可协作的结构化文档，将知识积累和沉淀下来，并在团队中有效流动，由此提升企业的创造力.专业的交付过程监控和研发效能度量、分析平台.云效效能洞察.应用为核心的云原生应用交付平台，提供对开发者友好的应用编排、环境管理、部署运维、资源管理、应用发布等一站式应用交付能力.云效应用交付.提供行级/...
来自：
云产品
Cloud Toolkit阿里云开发者插件工具
Cloud Toolkit - 阿里云集开发、测试、诊断、部署为一体的免费本地多IDE插件，帮助开发者真正实现任意服务器或 ECS、EDAS、Kubernetes、SAE、函数计算等一键式研发部署，支持Java规约、高效执行终端命令和 SQL等常见工具，研发速度提升8倍以上，大幅降低研发成本。
可以在 IDE 中便捷的管理本地与远端的阿里云 ROS 模板，提供新建、删除、上传、下载等功能.管理阿里云 ROS 模板及资源栈.在 IDE 内，开发者可以浏览阿里云的 RDS 资源；同时，在配置好用户名密码之后，即可通过内置的 SQL Console 连接上 RDS 实例，并快速执行 SQL 语句.使用阿里云 RDS.Cloud Toolkit 帮助开发者将本地应用...
来自：
云产品
自建Hadoop迁移到阿里云EMR
场景描述 场景1：自建Hadoop集群数据（HDFS）迁移到 阿里云EMR集群的HDFS文件系统； 场景2：自建Hadoop集群数据（HDFS）迁移到 计算存储分离架构的阿里云EMR集群，以OSS 和JindoFS作为EMR集群的后端存储。 解决的问题 客户自建Hadoop迁移到阿里云EMR集群的 技术方案； 基于IPSecVPN隧道构建安全和低成本数据 传输链路 产品列表 E-MapReduce，VPC，ECS，OSS，VPN网关。
自建 Hadoop数据迁移到阿里云 EMR 场景描述 解决的问题 场景1：自建 Hadoop集群数据（HDFS）迁移到阿 客户自建 Hadoop迁移到阿里云 EMR集群的技 里云EMR集群的 HDFS文件系统；术方案；场景2：自建 Hadoop集群数据（HDFS）迁移到计 基于 IPSec VPN隧道构建安全和低成本数据 算存储分离架构的阿里云 EMR集群，以 OSS 和 传输...
阿里云最佳实践离线大数据workshop
本最佳实践，首先搭建一个简化的电商 demo 系统，然后为此 demo 系统构建一套离 线大数据分析系统。 实践目标 1. 学习搭建一个离线大数据分析系统，学习从数据采集到数据存储和业务分析的业 务流程。 2. 整个离线大数据分析系统全部基于阿里云产品进行搭建，学习掌运用各个服务组 件及各个组件之间如何联动。 背景知识要求 熟练掌握 SQL 语法 对大数据体系系统知识有一定的了解
阿里云 最佳实践 离线大数据分析WorkShop 文档版本：20210802（发布日期）离线大数据分析WorkShop 文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 离线大数据分析WorkShop 文档版本 V1.1 版本日期 2021-08-02 文档状态 对外发布 制作人 敬海 审阅人 游士 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2021-...
来自：
最佳实践
相关产品：云服务器ECS,云数据库RDS MySQL 版,对象存储 OSS,日志服务（SLS）,大数据计算服务 MaxCompute,DataV数据可视化,数据总线,Quick BI,云速搭
- 产品推荐
- 这些文档可能帮助您