基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以选择标准的 CloudEvents格式，但函数中的代码需要 适配解析 CloudEvents格式的逻辑）重试策略：指数衰减重试。（也可以选择退避重试）容错策略：允许容错。（允许异常容错，当异常发生时不会阻塞执行，...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
如果您配置了失败目标，函数计算将自动把失败请求的上下文信息推送到云消息队列 RocketMQ 版等消息服务中，以便后续处理。您也可以将目标服务设置为另一个函数，函数计算将自动把失败请求的上下文信息推送到该函数，执行您自定义的错误处理逻 辑。自动通知下游服务执行结果 ◼ 请求执行成功后，如果您配置了成功目标，函数...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
云消息队列 MQTT 版
云消息队列 MQTT 版是阿里云专为移动互联网及物联网领域设计的消息产品，可用于直播互动、金融支付等场景，通过支持 MQTT、WebSocket 等协议连接端与云的双向通信，更高效、更可靠。
移动、物联网定制，千万级设备同时在线以及毫秒级的消息推送能力，平滑的线性扩展能力，对业务完全透明.支持 MQTT 标准协议，WebSocket 协议.云消息队列 MQ.推荐搭配产品.随着物联网行业的快速发展，智能点餐服务已成为餐饮行业中的标配，消费者可通过手机 Apps(如 Android/iOS）在餐桌上扫码，并可以连接商家的智能系统，...
来自：
云产品
光伏逆变器出海和运维提效
阿里云物联网平台的光伏智能运维算法，通过采集光伏逆变器的数据，识别光伏阵列中的故障、发现可能的发电低效站点并及时预警，提醒电站运维人员及时排查解决问题，降低运维成本。提供全球运营商的物联网卡流量资源，全球8大服务地域的物联网平台，实现光伏逆变器出海和运维提效。
物联网卡管理通过物联网无线连接服务的控制台可以进行新购凭证、卡/池管理、智能诊断、自动化预警、查询订单、定向配置、平台短信上下行管理和消息推送等操作，实现一站式的物联网卡管理。方案部署01部署准备完成账号申请和充值，开通并购买需要的相关产品。02规划网络和资源规划技术解决方案部署需要的网络和资源。03光伏...
来自：
解决方案
云消息队列 Kafka 版
云消息队列 Kafka 版是阿里云基于Apache Kafka构建的大数据消息中间件，广泛用于日志收集和分析、数据处理等场景。可提供全托管服务，用户无需部署运维，更专业、更可靠、更安全。
骑士卡：基于 Kafka 搭建消息中心，上亿消息推送轻松完成.开源自建 Kafka 运维投入大，在大规模场景下稳定性无法保障，开源 bug 没有解决，同时 SLA 无法保障。而阿里云云消息队列 Kafka 对产品内核进行全方位优化，解决开源产品长期以来的痛点，免运维、低成本、更稳定、大数据领域优选数据通道.小麦助教：通过阿里云原生...
来自：
云产品
海量共享设备安全高效运维
针对设备规模大、地理分布广泛、业务实时性要求高的共享设备，提供安全高效的设备管理运维。本方案基于阿里云物联网平台，搭配物联网卡的上网能力，由IoT安全运营中心为设备提供全方位的安全防护，保障共享设备的高可用接入和安全高效运维。
物联网卡管理通过物联网无线连接服务的控制台可以进行新购凭证、卡/池管理、智能诊断、自动化预警、查询订单、定向配置、平台短信上下行管理和消息推送等操作，实现一站式的物联网卡管理。设备安全管理通过对终端行为的持续分析、威胁模型检测等多种方式识别物联网系统中潜在的安全风险，帮助管理员自动处置、响应和修复...
来自：
解决方案
云消息队列 RocketMQ 版
云消息队列 RocketMQ 版是基于 Apache RocketMQ 构建的分布式消息中间件，广泛用于异步解耦、削峰填谷等场景。可支撑千万级并发、万亿级数据洪峰，更稳定，更安全。
支持开箱即用的消息清洗、转化等后处理操作，可以实现消息导出存储到数据库、大数据、分析计算等下游产品.支持消息服务和数据同城多机房容灾，灾难场景自动切换，并保障状态一致.支持异地多机房消息容灾，支持按业务自定义标签进行收发流量调度.多样的企业级增强特性，从消息治理、流量调度、企业级容灾特性多方面提供开箱...
来自：
云产品
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
配置增加监控对象 为了能够体验到真实的告警数据通过 Prometheus推送到 SLS中，我们特定用一台 ECS去产生告警的数据，让 Prometheus捕获。步骤1 在 ECS管理控制台，打开通过 CADT创建的被监控 ECS（名称为：ecs-monitored）的控制台。步骤2 下载并安装 node_exporter服务，接入到 prometheus中。wget ...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
由于是在 PiggyMetrics下的子项目 Account Service直接修改，采用以下命令将修改 后的项目推送到 gitlab：文档版本：20220121 32 基于 K8S多集群隔离环境下的 DevOps实现 项目源码准备 cd~/piggymetrics/account-service/目录地址按实际情况 git init git remote add origin ssh:/git@xxxx:xx/piggymetrics/account-service...
物联网平台设备数据上云
物联网平台设备数据上云方案为企业提供海量物联网设备的数据接入与处理。提供了多种类型设备的稳定接入、安全防护、实时监控，满足企业一站式管理设备、处理数据的需求。具有高可用、高并发、低成本的优势。
通过云服务器ECS模拟温湿度传感器，通过MQTT协议接入物联网平台并上报数据，物联网平台将数据转发到函数计算，函数计算将收到的数据推送到钉钉机器人。解决问题：海量数据下的连接不稳定在高并发情况下保证设备连接稳定性，支持多种协议、多环境下的设备接入，架构可水平扩展。解决问题：设备数据处理难线下设备数据割裂，...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您