基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以选择标准的 CloudEvents格式，但函数中的代码需要 适配解析 CloudEvents格式的逻辑）重试策略：指数衰减重试。（也可以选择退避重试）容错策略：允许容错。（允许异常容错，当异常发生时不会阻塞执行，...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
如果您配置了失败目标，函数计算将自动把失败请求的上下文信息推送到云消息队列 RocketMQ 版等消息服务中，以便后续处理。您也可以将目标服务设置为另一个函数，函数计算将自动把失败请求的上下文信息推送到该函数，执行您自定义的错误处理逻 辑。自动通知下游服务执行结果 ◼ 请求执行成功后，如果您配置了成功目标，函数...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
物联网平台设备数据上云
物联网平台设备数据上云方案为企业提供海量物联网设备的数据接入与处理。提供了多种类型设备的稳定接入、安全防护、实时监控，满足企业一站式管理设备、处理数据的需求。具有高可用、高并发、低成本的优势。
通过云服务器ECS模拟温湿度传感器，通过MQTT协议接入物联网平台并上报数据，物联网平台将数据转发到函数计算，函数计算将收到的数据推送到钉钉机器人。解决问题：海量数据下的连接不稳定在高并发情况下保证设备连接稳定性，支持多种协议、多环境下的设备接入，架构可水平扩展。解决问题：设备数据处理难线下设备数据割裂，...
来自：
解决方案
云监控
云监控（CloudMonitor）是阿里云提供的一款一站式、全链路、开箱即用的监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，帮助客户第一时间发现和定位问题构建完善的监控运维体系。
除了语音、短信、邮件、钉钉群外还可以推送到指定的WebHook、消息队列、函数计算、日志服务中.丰富的报警通知方式.函数计算 FC.日志服务 SLS.推荐搭配使用.云上基础设施监控与报警.快速构建完善的云上基础设施监控与报警体系.云监控提供常用云服务的系统事件、状态变更事件等信息（例如ECS 服务器的状态变化事件、磁盘性能...
来自：
云产品
阿里邮箱协同办公解决方案
阿里邮箱源自于云计算技术，具有高稳定高可用性弹性扩展的容器化技术架构，实现安全，稳定，智能、高效的企业邮箱应用，方案具有公有云SaaS服务、本地独立部署，全栈国产化部署等多种构建方式，与钉钉无缝集成实现便捷、互通、高效的统一协同办公体验
与钉钉天然集成，实现邮件与钉钉的组织架构、通讯录、日历、钉盘、消息、音视频、Ding 等能力无缝集成.丰富的开放协同能力融入企业信息化建设中.依托阿里云全球化数据中心、专线网络、智能 DNS 解析、高信誉度 IP 和智能投递等技术，有效地解决海外邮件收发网络链路长、IP 信誉低、RDNS 反向检查容易失败等问题.全球畅联的...
来自：
解决方案
移动研发平台EMAS
阿里云移动研发平台EMAS是国内领先的云原生应用研发平台（移动App、H5应用、小程序、Web应用等），基于广泛的云原生技术，为企业、开发者提供一站式的应用研发管理服务，涵盖应用开发、测试、运维、运营等应用全生命周期。
查看更多商品.具备机器学习的AppRipper能够智能测试应用，模拟真人操作，支持性能...提供给移动App开发者的移动端消息推送服务，通过在App中集成推送功能，进行高效、精准、实时的消息推送，从而使业务及时触达用户，提高用户粘性.移动用户反馈.可以快速发送文字、图片、语音进行意见反馈和报告Bug，增强互动，提高用户黏性.
来自：
云产品
移动测试
阿里云移动测试（Mobile Testing）是为广大企业客户和移动开发者提供真机测试服务的云平台，拥有大量热门机型，提供7x24全天候App测试服务，帮助客户发现APP中的各类隐患（应用崩溃、各类兼容性问题、功能性问题、性能问题等），减少用户流失，提高APP质量和市场竞争力。
提供给开发者的移动端消息推送服务，通过在App中集成推送功能，进行高效、精准、实时的消息推送，从而使业务及时触达用户，提高用户粘性.阿里巴巴Hotpatch技术，提供细粒度热修复能力，无需等待，实时修复应用线上问题.面向移动开发者推出的一款域名解析产品，具有域名防劫持、精准调度的特性.多维度自动采集线上App崩溃...
来自：
云产品
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
如何使用 Pushgateway 推送监控数据.容器监控&自建 Prometheus 对接.相较于 Prometheus 开源版本性能提升 20 倍，有效降低运维成本 90%以上.体验可观测监控 Prometheus 版.相关帮助文档.一分钟完成接入.解决常见使用问题.数据采集性能较开源版本提升 20 倍 支持长时间区间数据秒级查询.全托管式服务，运维成本降低 90%按...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
多渠道数据推送.支持钉钉、邮件、短信、Webhook 等10+监控数据源，确保及时触达.告警协作提升协同效率.基于钉钉的 ChatOps，借助报警管理、报警记录、历史查看，让告警变得可协作，可追溯，可统计.提供异常检查、智能降噪等算法能力有效减少无效告警.告警根因分析.基于应用上下文的告警根因分析，提升故障定位效率.智能告警...
来自：
云产品
- 产品推荐
- 这些文档可能帮助您