基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
存储引擎：阿里云 Kafka架构，有云存储和 Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）◆消息类型：普通消息。创建Group：◆Group名称：根据实际业务自行填写。Group描述：根据实际业务自行填写...
SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的 聚合、分析处理和导出等，本方案给出了在多 云/混合云场景下，构建通过标准的Kafka协议 和托管服务，SLS可以连接Kafka数据入湖导 入，然后进行统一的海量数据的集中存储、智 能转储、...
移动开发平台 mPaaS
阿里云移动开发平台 mPaaS提供App开发、测试、运营及运维等云到端的一站式解决方案，帮助企业快速构建高质量的移动应用，阿里云快速开发平台提升企业产品生态发展。
多人协作效率提升（私有云支持）科学管控开发人员、代码迭代及产品版本，全面覆盖开发、构建、测试、集成等项目环节。自动化测试效率提升（私有云支持）基于真机进行自动化测试，模拟真实用户操作，深度还原使用场景，快速发现 App 问题。相关产品移动开发平台 mPaaS在线咨询数字化运营支持运营活动投放一站式全流程创建...
来自：
云产品
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
产品介绍●专有网络 VPC（Virtual Private Cloud）：是用户基于阿里云创建的自定义私有网络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和管理 云产品实例，比如 ECS、负载均衡、RDS等。容器服务 Kubernetes 版 ACK：容器服务 Kubernetes 版（简称 ACK）提供高性 文档版本：20240428 V 可观测链路...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和 管理云产品实例，比如ECS、负载均衡、RDS等。 云速搭CADT（CloudArchitectDesignTools）：是一款为上云应用提供自助式云 架构管理的产品，显著地降低应用云上管理...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
在云工作 流中，您可以用顺序、分支、并行等方式来编排分布式任务，云工作流会按照设定好的步 骤可靠地协调任务执行，跟踪每个任务的状态转换，并在必要时执行您定义的重试逻辑，以确保工作流顺利完成。云工作流通过提供日志记录和审计来监视工作流的执行，方便您 轻松地诊断和调试应用。云工作流简化了开发和运行业务流程...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
将本地镜像推送到阿里云 ACR 本节将以 ECS中镜像 Stable Diffusion为例，讲解如何将本地镜像部署到阿里云函数 计算 FC上，请事先准备好自己想要部署的镜像，若暂时没有想要部署的本地镜像，也可以跳过此章节，通过直接部署阿里云 ACR中公开的 Stable Diffusion镜像仓库，体验函数计算 FC的镜像部署流程。步骤1 以云上 ECS为...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
u 存储引擎：阿里云 Kafka 架构，有云存储和 Local 存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for- kafka/product-overview/comparison-between-storage-engines ）u 消息类型：普通消息。创建 Group：u Group 名称：根据实际业务自行填写。u Group 描述：根据实际...
基于SAE的一站式Web服务托管方案
通过SAE提供的内置CICD能力，代码提交后可以触发自动构建，并部署应用到SAE，部署完成后，应用自动产生访问域名，外部请求通过域名可以直接访问应用。SAE提供了内置的可观测，灰度，回滚能力，通过控制台可以白屏化完成整个操作。SAE适合应用容器化快速上云，客户只需要提供代码仓库，后续的CICD，应用访问，弹性管理，运维监控，SAE都提供了内置的集成能力
基于SAE 2.0的一站式 Web服务托管方案 业务架构 场景描述 Web服务在互联网架构中有广泛的应用，通过 SAE提供的一站式方案，可以快速完成 CICD整 个流程，并且通过 SAE的内置能力，可以快速完 成灰度发布，应用观测，异常回滚等能力。应用场景 通过 SAE提供的内置 CICD能力，代码提交后可 以触发自动构建，并部署应用到 SAE...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
非对等部署状态下的全局流量负载均衡：云原生 网关对两个集群的同名服务进行合并，实现多种 负载均衡策略，可以很好的实现两个机房在非对 等部署状态下的负载均衡；流量的精细化管控：每个集群一套注册中心，保 证微服务调用在可用区内闭环。配合云原生网关 的多种流量路由能力实现蓝绿和灰度等发布策 略。产品列表 解决...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
基于函数计算实现直播流录制-存储-通知最佳实践 业务架构 场景描述 基于阿里云函数计算实现对直播流的实时录制，录制结束后会把录制的结果写入 OSS 存储桶，并把录制的结果写到消息队列，下游服务可以通 过订阅的方式来消费消息 应用场景 在互娱、教育、电商等行业都会有直播相关的业 务，大部分场合都需要对直播相关的业务...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
基于 FC实现的 Web端视频录制最佳实践 业务架构 场景描述 解决问题 在很多互娱场景，在线教育领域会有直播视频录制的 解决 Web端全屏录制复杂度高的问题。需求，但是往往一个页面上的内容是多种多样的，不 解决 Web端全屏录制灵活扩展性的问题。止有直播流，可能还有白板，评论等其他元素，如果 只是录直播流，那内容是不...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
存储引擎：阿里云Kafka架构，有云存储和Local存储。（详细对比参见文档：https://help.aliyun.com/zh/apsaramq-for-kafka/cloud-message-queue-for-kafka/pro duct-overview/comparison-between-storage-engines） 消息类型：普通消息。创建Group： Group名称：根据实际业务自行填写。 Group描述：根据实际业务...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和管理云产品实例，比如ECS、负载均衡、RDS等。 容器服务Kubernetes 版（简称 ACK）：提供高性能且可伸缩的容器应用管理能力，支持 企业级容器化应用的全生命周期管理...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
容器多云统一监控日志 最佳实践 业务架构 场景描述 多云、混合云成为常态，Forrester报告中指出，未来89%的企业至少使用两个云，74%的企业 至少使用三个甚至更多公有云，在面对多云/混 合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑 战，本方案给出了在多云/混合云场景下，构建 ...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景，现在各种终端种类繁多，不同 专有网络VPC 的终端对图片的格式、分辨率要求也不同，所以 阿里云函数计算(FC)一张图片往往会有很多张衍生图，那如果所有的 阿里云对象存储（OSS）衍生图都存在OSS中，那存储的成本会增加， 内容分发网络（ContentDeliveryNetwork，CDN） 云速搭...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
产品介绍 专有网络VPC（VirtualPrivateCloud）：是用户基于阿里云创建的自定义私有网络,不同的 专有网络之间二层逻辑隔离，用户可以在自己创建的专有网络内创建和管理云产品实例，比如ECS、负载均衡、RDS等。 负载均衡SLB（ServerLoadBalancer）：一种对流量进行按需分发的服务，通过将流量分发 到不同的后端服务来...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
测试结束释放环境 文档版本：20240402 4 MSE网关使用 JWT实现认证鉴权 最佳实践概述 部署架构 架构说明 本方案涉及的云产品包括一个 MSE实例（前面挂公网 CLB）、一个私网 CLB、一个部 署在 SAE中的测试应用。产品介绍 专有网络 VPC（Virtual Private Cloud）：是用户基于阿里云创建的自定义私有网 络,不同的专有网络之间二...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
应用场景 有需要通过PoC得到Kafka产品性能实测数据 时可以用本实践来快速完成环境搭建及性能测 试。解决问题 Kafka压测环境的快速构建 产品列表 Kafka官方压测客户端完成性能压测 专有网络VPC 云虚拟机ECS 弹性公网IP 消息队列Kafka版 消息队列KafkaSeverless版 云速搭CADT 最佳实践频道 ...
- 产品推荐
- 这些文档可能帮助您