SLS数据入湖Kafka最佳实践
应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的聚合、分析处理和导出等，本方案给出了在多云/混合云场景下，构建通过标准的Kafka协议和托管服务，SLS可以连接Kafka数据入湖导入，然后进行统一的海量数据的集中存储、智能转储、聚合分析查询等。
SLS 数据入湖 Kafka 最佳实践 业务架构 场景描述 应用和数据分散在多云或混合云，在面对多云/混合云这样大的趋势下，数据无法进行统一的 聚合、分析处理和导出等，本方案给出了在多 云/混合云场景下，构建通过标准的Kafka协议 和托管服务，SLS可以连接Kafka数据入湖导 入，然后进行统一的海量数据的集中存储、智 能转储、...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
通过ES兼容接口方式使用Kibana访问SLS数据最佳实践 业务架构 场景描述 日志服务SLS提供Elasticsearch兼容接口，支 持客户将日志采集到日志服务后，仍可以继续沿 用Elasticsearch的查询方案，即通过使用 Kibana访问日志服务的Elasticsearch兼容接 口，实现查询SLS数据。应用场景 自建ELK日志系统的客户迁移到阿里云日志服 务...
MSE云原生网关解析body内容进行路由转发
MSE云原生网关中通过自定义插件transformer解析body内容，并用以路由转发规则判断
SAE组件为 2.0版本 文档版本：20240426 I MSE云原生网关解析 body内容进行路由转发 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.CADT基础环境搭建.2 2.MSE网关中安装自定义插件 transformer.9 2.1.Transformer插件说明.9 2.2.Transformer插件下载.9 2.3.Transformer插件安装配置.9 3.MSE...
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
阿里云 SLS多云日志统一管理方案-腾讯云日志采集 最佳实践 业务架构 场景描述 使用日志服务 SLS统一采集、存储、查询和分析 阿里云、腾讯云等不同云厂商上的业务日志、系 统日志和云产品日志，实现在一个平台上管理多 云架构下的所有日志。产品列表 方案适用的场景和优势 阿里云 多云：使用多云架构的用户都需要有一个统一...
可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
SLS最佳实践 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.IV 前置条件.1 1.基础环境搭建.2 2.获取 YAML文件.7 2.1.通过 git下载 YAML文件.7 3.OpenTelemetry Demo接入.8 3.1.在 ACK集群中部署 Demo应用.8 3.2.将应用调用链数据上报至可观测链路 OpenTelemetry 版.10 3.3.将应用日志上报至日志服务 SLS.13 ...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
RocketMQ性能压测快速方案 最佳实践 业务架构 场景描述 在一些产品选型场景客户需要产品的详细压测 数据，本方案可以快速构建测试客户端（RocketMQ官方的压测客户端）和服务端（RocketMQ5.0实例），方便客户自测或者给客 户做POC验证性能。应用场景 在客户对产品性能存疑或者给客户进行POC验 证时可以用本实践来快速完成...
基于函数计算FC实现物联网音视频处理
在物联网场景中，智能设备会产生大量的非结构化数据，并且采集量和频率都很高。比如各类摄像头（家用摄像头、车载摄像头、工业监控摄像头等）采集的数据。企业需要对这些非结构化数据做快速的分析和处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场景。
应用场景 在物联网场景中，智能设备会产生大量的非结构化数 据，并且采集量和频率都很高。比如各类摄像头（家 用摄像头、车载摄像头、工业监控摄像头等）采集的 数据。企业需要对这些非结构化数据做快速的分析和 处理，然后应用到下游业务中，所以需要一套高并发、低成本、自动化的方案。该最佳实践就适用于这类场 景。解决...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
提供高性能且可伸缩的容器应用管 理能力，支持企业级容器化应用的全生命周期管理。在2021年，ACK 成为国 内唯一连续三年入选Gartner 公共云容器报告的产品，同时在2022年成为国 内唯一进入Forrester领导者象限的产品。ACK 整合了阿里云的虚拟化、存储、网络和安全能力，助力企业高效运行云端Kubernetes容器化应用。文档版本...
基于函数计算FC镜像部署Stable Diffusion大模型
在现代AI应用中， Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
日期 作者 审阅人 说明 V1.0 2024-04-26 寰奕 厉博、游圣 初始版本 文档版本：20240426 I 基于函数计算 FC镜像部署 SD大模型 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.上传本地镜像到 ACR.2 1.1.开通阿里云容器镜像服务.2 1.2.将本地镜像推送到阿里云 ACR.4 2.使用FC镜像部署 SD模型.8 ...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
外部发布 制作人 寰奕 审阅人 百潼、游圣 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-04-26 寰奕 百潼 初始版本 V1.1 2024-04-29 游圣 内容优化版本 文档版本：20240429 I 基于函数计算 FC实现大语言模型部署最佳实践 法律声明 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.方式1使用魔...
基于函数计算实现直播流录制-存储-通知
在互娱、教育、电商等行业都会有直播相关的业务，大部分场合都需要对直播相关的业务做安全审核，或者对直播的课程进行录制和转码。该方案实现了一种完全按需拉起、按量弹性、按实际使用付费的录制方案。基于本方案还可以扩展实现直播流截帧、自动化安全审核等能力
云速搭 CADT（Cloud Architect Design Tools）：是一款为上云应用提供自助式云架构管 理的产品，显著地降低应用云上管理的难度和时间成本。本产品提供丰富的预制应用架构 模板，同时也支持自助拖拽方式定义应用云上架构；支持较多阿里云服务的配置和管理。用户可以方便的对云上架构方案的成本、部署、运维、回收进行全生命...
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步最佳实践 场景描述 业务架构 基于阿里云函数计算FC实现同帐号阿里云Kafka实 例之间消息、元数据同步，跨帐号阿里云Kafka实例 之间消息、元数据同步，阿里云Kafka实例和IDC 自建Kafka（其他云Kafka）之间消息、元数据同步。应用场景 在大数据场景，企业的Kafka实例...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
容器场景下的应用性能监控、调用链拓扑、内存剖析 最佳实践 场景描述 业务架构 随着云原生及微服务技术的普及，越来越多的系 统已经通过云原生和微服务技术实现企业的降 本增效，同时因微服务及云原生的复杂性给系统 运维带来非常大的挑战，云原生应用监控arms 通过全链路应用监控，从端到端及代码级别的链 路下钻能力、CPU...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
多云、混合云成为常态，Forrester报告中指出，未来89%的企业至少使用两个云，74%的企业 至少使用三个甚至更多公有云，在面对多云/混 合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑 战，本方案给出了在多云/混合云场景下，构建 基于容器环境下的统一管理、统一监控和统一日 ...
Landing-zone
企业上云第一步，规划和落地云上资源结构、访问安全、网络架构、安全合规体系，为企业搭建安全、高效、可管理的云环境。
产品解决方案文档与社区权益中心定价云市场合作伙伴支持与服务了解阿里云备案控制台企业上云第一步，规划和落地云上资源结构、访问安全、网络架构、安全合规体系，为企业搭建安全、高效、可管理的云环境。了解Landing Zone 概览学习Landing Zone 路线实施参考架构与应用实践探索合作伙伴及案例企业上云可能遇到的问题01权限...
来自：
解决方案
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
FC 实现阿里云 Kafka 消息内容控制 MongoDB DML 操作 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.基础环境搭建.2 2.配置 MongoDB.23 2.1.设置白名单.23 2.2.记录 MongoDB连接地址.24 2.3.创建 MongoDB库和集合.25 2.4.查询 MongoDB中的数据.26 3.配置函数计算 FC.28 3.1.登录函数计算 FC...
MSE网关使用JWT进行认证鉴权
MSE网关中调用外部的认证鉴权服务，通过JWT的方式进行全局认证鉴权。 对网关有认证鉴权安全需求的场景，对于敏感的服务路由（可通过黑白名单方式配置）在网关层进行认证鉴权。
V1.2 2024-04-02 四牛 游圣 CADT版本升级，1）SAE中支持环境变量，无 需手工配置 2）CLB跟 SAE服务的监听 支持自动创建，无需手动挂 载 3）SAE改版 文档版本：20240402 I MSE网关使用 JWT实现认证鉴权 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.CADT基础环境搭建.2 2.工具生成公钥、私钥...
基于MSE和SAE的微服务部署与压测
通过云原生微服务引擎MSE、SAE、PTS、ARMS产品，为spring cloud微服务应用提供部署和测试能力，提供一个经典微服务应用上云的典型架构，实现微服务应用的快速落地。
初始版本 V1.1 2024-03-04 复礼 游圣、天暠 内容优化 V2.3 2024-03-05 游圣 架构模版调整 V2.6 2024-04-15 游圣、复礼 内容更新 文档版本：20240415 I基于MSE和SAE的微服务部署与压测 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.IV 前置条件.1 1.基础环境搭建.2 2.微服务注册到MSE.13 2.1.获取MSE-Nacos...
- 产品推荐
- 这些文档可能帮助您