基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
方案优势 快速搭建起数据处理全链路 全链路自适应弹性，无需为流量峰谷做频繁的手工处理 内置 CICD平台能力，灰度，回滚，监控开箱即用 按量付费，没有资源闲置费用 部署架构 架构说明 该架构图直观的表现出了该方案中使用到的网络（VPC，交换机，安全组）、Kafka、函数计算 FC、OSS之间的关系。网络架构：◼ 整个方案会在...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
文档版本：20240422 23 基于函数计算实现自定义直播-拉流-录制-存储-通知 环境搭建 配置成功后，在相同的页面检查“成功目标”是否已经配置投递目标服务到消息服务 MNS 的主题 topic-notice，如下图所示，如果没有，可以点编辑添加配置，选择对应的资源名 称，并点下方的确定按钮。如果已经有该配置，可跳过该步骤。文档...
基于FC实现的Web端视频录制最佳实践
场景描述在很多互娱场景，在线教育领域会有直播视频录制的需求，但是往往一个页面上的内容是多种多样的，不止有直播流，可能还有白板，评论等其他元素，如果只是录直播流，那内容是不完整的，所以需要将整个屏幕的内容录制为视频。该最佳实践可以有效解决这个场景。
函数计算为您准备好计算资源，弹性地、可靠地运行任务，并提供日志查询、性 能监控和报警等功能。对象存储 OSS：对象存储 OSS，是海量、安全、低成本、高可靠的云存储服务。使用 RESTful API 可以在互联网任何位置存储和访问，容量和处理能力弹性扩 展，多种存储类型供选择全面优化存储成本。容器镜像服务 ACR（Alibaba ...
Kafka性能压测快速方案
产品性能基线测试场景需要对产品进行性能测试得到详细的压测数据，本方案可以快速构建测试的客户端（kafka官方的压测客户端）和不同的Kafka服务端（ SSD云盘版、高效云盘、Serverless版三种实例），方便客户进行POC完成性能验证。
步骤10进入资源验证阶段，这个阶段会对架构中的资源在可用区下的库存情况进行查询，同 时可以对资源规格进行review。资源验证是实时进行的，请耐心等待。步骤11资源验证成功后如下，确认一下是否是和自己的设计相符 文档版本：20240229 16Kafka性能压测快速方案 部署基础环境 步骤12如果相符单击下一步:价格清单。步骤13...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
部署架构 文档版本：20240330 4基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步 最佳实践概述 架构说明 该架构图其实模拟了两类场景： 在同一VPC下，有两个阿里云Kafka实例，由不同的RAM帐号控制权限，也就是RAM-a 和RAM-b帐号互相不可见对方的Kafka实例。另外有一个独立的RAM-c帐号，管理负责 消息同步的函数...
自建数据库迁移到云数据库
本方案介绍如何将网站的自建数据库迁移至云数据库 RDS，解决您随着业务增长可能会面临的数据库运维难题。数据库采用高可用架构，支持跨可用区容灾，给业务带来数据安全、可用性、性能和成本方面收益。方案提供了快速体验教程，模拟了数据库迁移所需的工作，帮助您快速上手。
同时，对于账单信息的查询也能够变得高效，用户可以从Redis中获取已缓存的数据，减少对MySQL的频繁访问，提升查询性能。这样的解决方案不仅能够提高系统的响应速度，还能够保证数据的一致性和准确性，为用户提供更好的使用体验。查看详情技术解决方案咨询我们将根据您提交的需求，安排技术解决方案专家为您服务！立即咨询
来自：
解决方案
利用交互式分析(Hologres)进行数据查询
场景描述：随着收集数据的方式不断丰富，企业信息化 程度越来越高，企业掌握的数据量呈TB、 PB或EB级别增长。同时，数据中台的快 速推进，使数据应用主要为数据支撑、用户 画像、实时圈人及广告精准投放等核心业务 服务。高可靠和低延时地数据服务成为企业 数字化转型的关键。 Hologres致力于低成本和高性能地大规模 计算型存储和强大的查询能力，为您提供海 量数据的实时数据仓库解决方案和实时交 互式查询服务。 解决问题 1.加速查询MaxCompute数据 2.快速搭建实时数据仓库 3.无缝对接主流BI工具 产品列表 MaxCompute Hologres 实时计算Flink 专有网络VPC DataWorks DataV
实时分析架构图 加速查询MaxCompute离线数据 写入业务数据至离线数据仓库MaxCompute，通过Hologres直接加速查询或导入数 据至Hologres查询，并对接BI分析工具，实现实时分析离线数据。典型应用场景如 下：实时查询MaxCompute离线数据。分析MaxCompute离线数据报表。输出MaxCompute离线数据的在线应用，例如RESTfulAPI...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
步骤9 进入资源验证阶段，这个阶段会对架构中的资源在可用区下的库存情况进行查询，同 时可以对资源规格进行review。资源验证是实时进行的，请耐心等待。如果账号是首次使用MSE，资源验证阶段会提示需要开通相关的服务和进行授权。文档版本：20240329 10容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 请点击如...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
日志服务SLS：是云原生观测与分析平台，为Log、Metric、Trace等数据提供 大规模、低成本、实时的平台化服务，日志服务一站式提供数据采集、加工、查 询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。文档版本：20240322 2容器多云统一监控日志 最佳实践概述 应用...
基于OSS Object FC实现非结构化文件实时处理最佳实践
现在绝大多数客户都有很多非结构化的数据存在OSS中，以图片，视频，音频居多。举一个图片处理的场景，现在各种终端种类繁多，不同的终端对图片的格式、分辨率要求也不同，所以一张图片往往会有很多张衍生图，那如果所有的衍生图都存在OSS中，那存储的成本会增加，所以就可以通过OSS Object FC的方案，在不同的终端请求时，对OSS中的原图基于终端的要求做实时处理，然后响应返回，这样OSS中只需要存储原图即可。音视频也有类似的场景。
举一个 产品列表 图片处理的场景，现在各种终端种类繁多，不同 专有网络VPC 的终端对图片的格式、分辨率要求也不同，所以 阿里云函数计算(FC)一张图片往往会有很多张衍生图，那如果所有的 阿里云对象存储（OSS）衍生图都存在OSS中，那存储的成本会增加， 内容分发网络（ContentDeliveryNetwork，CDN） 云速搭...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
步骤7 进入资源验证阶段，这个阶段会对架构中的资源在可用区下的库存情况进行查询，同 时可以对资源规格进行review。资源验证是实时进行的，请耐心等待。首次使用的用户会出现需要服务授权提示，点击授权后，回到CADT页面点击返回 步骤8 再次进行应用部署，当出现校验成功时，可以查看一下界面中相关的信息，确认一下 是否...
SAE-ACK应用双跑最佳实践
场景描述 实现ACK、SAE中部署的应用在东西向和南北向互通，实现SAE-ACK应用双跑。 应用场景 该最佳实践应用于两类场景： l 因为SAE支持更丰富自动扩缩指标（比如QPS，RT，TCP连接数等），所以将相对稳态的应用部署在ACK中，将相对弹性波动大的应用部署在SAE，借助SAE更强大的自动扩缩应对流量洪峰。 l 将K8s架构迁移到Serverless架构时，需要平滑过渡，所以该最佳实践中的双跑架构可以有效帮用户平滑的完成迁移。
进入资源验证阶段，这个阶段会对架构中的资源在可用区下的库存情况进行查询，同时可以对 资源规格进行review。资源验证是实时进行的，请耐心等待。文档版本：20240311 11SAE-ACK应用双跑 场景验证 当出现校验成功时，可以查看一下界面中相关的信息，确认一下是否是和自己的设计相符，如 果相符单击下一步:价格清单。进入...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
查询 MongoDB数据 步骤1 进入 DMS 控制台，执行查询命令，可以看到 MongoDB 中插入了一条 Kafka 消息的内 容。37 文档版本：20240304 基于函数计算 FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 场景验证 4.3.验证更多场景 可以尝试将 Kafka 消息的 Key 设置为 delete 或 update，验证删除和更新的场景。38 文档版本...
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
文档版本：20240423 7 基于MSE云原生网关同城多活最佳实践 部署基础环境 步骤11 进入资源验证阶段，这个阶段会对架构中的资源在可用区下的库存情况进行查询，同 时可以对资源规格进行 review。资源验证是实时进行的，请耐心等待。步骤12 首次使用的用户会出现需要服务授权提示，如下图账号首次使用 ACK服务，会校验出 账号...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
全链路追踪：集成了阿里云应用实时监控服务ARMS，可以在ARMS控制台集中查询 请求全链路，及时发现和解决异常。 限流降级：集成了阿里云应用高可用服务AHAS，在大促等流量高峰场景中，微服务 网关统一配置限流熔断阈值，保护后端服务，逐步化解访问压力，提供持续服务能力。 丰富策略：支持灰度、蓝绿等多种发布策略...
PolarDB 应对大并发复杂查询实践
MySQL架构是单线程处理SQL，遇到大并发复杂查询时，需要排队长时间等待，容易形成慢查询，影响业务。PolarDB并发查询能力可以很好解决此问题。
附录 测试环境安装.26 4.1.TPC-H安装.26 文档版本：20210412 IV PolarDB如何应对大并发复杂查询 最佳实践概述 最佳实践概述 概述 在面向 C端或者多个小 B端的 SaaS化服务场景下，数据库经常面临大并发的复杂查 询业务压力，比如餐饮平台的商户随机查看订单统计情况；ERP服务平台面临大量零 售商户查看库存报表情况。此类...
室内地图解决方案
室内地图面向室内大型复杂场景的地图需求，例如百货、商超等业态，满足复杂业态下室内地图的产品需求；可以有效的全面支撑场内专柜数字化、IOT设备地图数字化、工程物业地图数字化等能力，实现商场内关于“场”维度的数字化。通过室内地图能力，我们可以将整个商场数字化，可视化，是支撑整个新零售数字化改造的重要支点。
招商资源与信息进行空间可视化与集中展现，形成信息准确、查询快捷的招商平台.以经营数据为核心的时空大数据分析，汇聚处理收入与合同、销售与客流等核心主数据.室内地图面向室内大型复杂场景的地图需求，例如百货、商超等业态，满足复杂业态下室内地图的产品需求，可以有效的全面支撑场内专柜数字化、IoT设备地图数字化、...
来自：
解决方案
- 产品推荐
- 这些文档可能帮助您