基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为 32MB，异步调用为 128KB）触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送）推送格式：RawData（也可以...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
（这里有异步调用和同步调用两种方式，为了能快速消费消 息，这里选择异步调用，并且两种调用方式的正文负载大小不同，同步调用为32MB，异步调用为128KB） 触发器启用状态：勾选 批量推送：默认关闭。（可以选择开启，然后可以设置批量推送的条数，批量推送 间隔，根据需求选择是否批量推送） 推送格式：RawData（也...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
l 云消息队列 Kafka 版：云消息队列 Kafka 版是阿里云提供的分布式、高吞吐、可扩展的消 息队列服务。云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
如果您配置了失败目标，函数计算将自动把失败请求的上下文信息推送到云消息队列 RocketMQ 版等消息服务中，以便后续处理。您也可以将目标服务设置为另一个函数，函数计算将自动把失败请求的上下文信息推送到该函数，执行您自定义的错误处理逻 辑。自动通知下游服务执行结果 ◼ 请求执行成功后，如果您配置了成功目标，函数...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
熔断效果展示 推送开关后，程序的慢调用生效，就会触发熔断规则：观察mseconsumer应用的接口详情，在客户端看到具体熔断信息。路径：治理中心-应用治理-接 口详情。文档版本：20240229基于SpringCloud玩转MSE 9.一键释放云资源 场景已经完成，可以将验证通过的环境直接用于生产。如果不再使用该架构，也可以通过CADT释放...
基于Flink+ClickHouse构建实时游戏数据分析
在互联网、游戏行业中，常常需要对用户行为日志进行分析，通过数据挖掘，来更好地支持业务运营，比如用户轨迹，热力图，登录行为分析，实时业务大屏等。当业务数据量达到千亿规模时，常常导致分析不实时，平均响应时间长达10分钟，影响业务的正常运营和发展。 本实践介绍如何快速收集海量用户行为数据，实现秒级响应的实时用户行为分析，并通过实时流计算Flink/Blink、云数据库ClickHouse等技术进行深入挖掘和分析，得到用户特征和画像，实现个性化系统推荐服务。 通过云数据库ClickHouse替换原有Presto数仓，对比开源Presto性能提升20倍。 利用云数据库ClickHouse极致分析性能，千亿级数据分析从10分钟缩短到30秒。 云数据库ClickHouse批量写入效率高，支持业务高峰每小时230亿的用户数据写入。 云数据库ClickHouse开箱即用，免运维，全球多Region部署，快速支持新游戏开服。 Flink+ClickHouse+QuickBI
步骤6 确认消息被推送到消息队列 Kafka（实际消息条数大于 100，因为有系统启动的日志 也被收集到 kafka，这部分日志会在 Flink流处理时，进行 ETL过滤）。步骤7（可选）查看消息队列 Kafka中的 filebeat的消息格式。文档版本：20201224 44 基于 Flink+ClickHouse构建实时游戏数据分析 日志采集 日志模拟方式二：通过调用 ...
可观测监控 Prometheus 版
覆盖业务自定义监控/应用组件监控/云服务监控/容器监控/系统监控等场景。默认集成Grafana看板与智能告警，全面优化系统可用性与查询能力，用户无需关注系统可用性与Exporter集成。帮助企业快速搭建一站式指标可观测体系。
如何使用 Pushgateway 推送监控数据.容器监控&自建 Prometheus 对接.相较于 Prometheus 开源版本性能提升 20 倍，有效降低运维成本 90%以上.体验可观测监控 Prometheus 版.相关帮助文档.一分钟完成接入.解决常见使用问题.数据采集性能较开源版本提升 20 倍 支持长时间区间数据秒级查询.全托管式服务，运维成本降低 90%按...
来自：
云产品
云监控
云监控（CloudMonitor）是阿里云提供的一款一站式、全链路、开箱即用的监控产品。涵盖云上云下统一的主机监控、百余款的云产品监控、覆盖全球的网络监控、面向应用和业务的日志监控和自定义监控，提供丰富的指标数据和强大开放的平台能力，帮助客户第一时间发现和定位问题构建完善的监控运维体系。
除了语音、短信、邮件、钉钉群外还可以推送到指定的WebHook、消息队列、函数计算、日志服务中.丰富的报警通知方式.函数计算 FC.日志服务 SLS.推荐搭配使用.云上基础设施监控与报警.快速构建完善的云上基础设施监控与报警体系.云监控提供常用云服务的系统事件、状态变更事件等信息（例如ECS 服务器的状态变化事件、磁盘性能...
来自：
云产品
应用实时监控服务ARMS
作为云原生可观测平台，应用实时监控服务 ARMS 包含前端监控、应用监控、云拨测等模块。覆盖浏览器、小程序、APP、分布式应用、容器等不同可观测环境与场景。帮助企业实现全栈性能监控与端到端追踪诊断。提高监控效率，压降运维工作量。
多渠道数据推送.支持钉钉、邮件、短信、Webhook 等10+监控数据源，确保及时触达.告警协作提升协同效率.基于钉钉的 ChatOps，借助报警管理、报警记录、历史查看，让告警变得可协作，可追溯，可统计.提供异常检查、智能降噪等算法能力有效减少无效告警.告警根因分析.基于应用上下文的告警根因分析，提升故障定位效率.智能告警...
来自：
云产品
基于SLS实现统一告警最佳实践
告警对于企业的开发运维，安全运维，业务运维有着至关重要的作用。然而很多企业在告警运维方面存在着重复建设、监控质量差、告警风暴、触达不人性化、无法闭环等问题。 针对企业在告警管理方面存在的痛点问题，SLS告警提供了一站式云上告警管理方案，具有弹性易用、稳定可靠、功能持续升级、成本更低、噪音更少等优势。企业可以将现有的监控方案系统无缝接入到SLS告警平台，实现在SLS上一站式管理告警。
配置增加监控对象 为了能够体验到真实的告警数据通过 Prometheus推送到 SLS中，我们特定用一台 ECS去产生告警的数据，让 Prometheus捕获。步骤1 在 ECS管理控制台，打开通过 CADT创建的被监控 ECS（名称为：ecs-monitored）的控制台。步骤2 下载并安装 node_exporter服务，接入到 prometheus中。wget ...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
步骤10 通过 Log producer提交日志推送，把采集的日志发送到日志服务（这里把日志的相 关字段通过 logItem进行包装）。文档版本：20211203 62 SLS多云日志采集、处理及分析 编写 Spark作业源码解读及问题排查 步骤11 参考 pom.xml文件添加相关的 maven依赖及相关配置。Spark作业源码编译及问题排查 步骤1 进入源码所在的主...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
后的项目推送到 gitlab：文档版本：20220121 32 基于 K8S多集群隔离环境下的 DevOps实现 项目源码准备 cd~/piggymetrics/account-service/目录地址按实际情况 git init git remote add origin ssh:/git@xxxx:xx/piggymetrics/account-service.git git add.git commit-m"Initial commit"git push-u origin master 上传之后，...
Spark on ECI大数据分析
场景描述 方案优势 1.计算引擎弹性扩缩容，兼顾资源弹性与计 算资源成本优化。 2.计算与存储分离架构，结合阿里云原生云 存储产品，海量数据湖优势。 3.Kubernetes原生的调度性能优势，提升在 大规模分析作业时的分析性能优势分。 4.集群资源隔离和按需分配。 解决问题 1.计算资源弹性能力不足，计算资源成本管 控能力欠缺. 2.集群资源调度能力和隔离能力不足。 3.计算与存储无法分离，大数据量分析时出 现数据存储资源瓶颈。 4.Spark submit方式提交分析作业参数支持 有限等缺点。 产品列表 容器服务Kubernetes版(ACK) 弹性容器实例(ECI) 文件存储HDFS 对象存储OSS 专有网络VPC 容器镜像服务ACR
2.在容器镜像服务 ACR控制台上可以看到镜像已经推送到了私像仓库。2.4.准备 Spark应用镜像 步骤1 编写示例 WordCount函数并打包。本地开发环境使用 IntelliJ IDEA，创建 Maven工程，创建的 Maven工程结构如下图 所示，并将修改后的 core-site.xml文件放入应用项目的 resources目录，这里以编写 一个常见的 WordCount函数...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
云消息队列Kafka版：是阿里云基于ApacheKafka构建的高吞吐量、高可扩 展性的分布式消息队列服务，广泛用于日志收集、监控数据聚合、流式数据处 理、在线和离线分析等场景，是大数据生态中不可或缺的产品之一，阿里云提 供全托管服务，用户无需部署运维，更专业、更可靠、更安全. Serverless应用引擎SAE...
- 产品推荐
- 这些文档可能帮助您