可观测链路 OpenTelemetry版结合日志服务SLS关联分析最佳实践
可观测链路 OpenTelemetry 版为分布式应用的开发者提供了完整的调用链路还原、调用请求量统计、链路拓扑、应用依赖分析等工具，可以帮助开发者快速分析和诊断分布式应用架构下的性能瓶颈，当应用出现业务异常问题时，您可以在可观测链路 OpenTelemetry 版控制台关联查看日志进行分析，精准定位业务异常。
可观测链路 OpenTelemetry 版结合日志服务 SLS关联分析 最佳实践 场景描述 业务架构 可观测链路 OpenTelemetry 版为分布式应用的 开发者提供了完整的调用链路还原、调用请求量 统计、链路拓扑、应用依赖分析等工具，可以帮 助开发者快速分析和诊断分布式应用架构下的 性能瓶颈，当应用出现业务异常问题时，您可以 在可观测...
阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
阿里云 SLS多云日志统一管理方案-腾讯云日志采集 最佳实践 业务架构 场景描述 使用日志服务 SLS统一采集、存储、查询和分析 阿里云、腾讯云等不同云厂商上的业务日志、系 统日志和云产品日志，实现在一个平台上管理多 云架构下的所有日志。产品列表 方案适用的场景和优势 阿里云 多云：使用多云架构的用户都需要有一个统一...
RocketMQ性能压测快速方案
在客户对产品性能存疑或者给客户进行POC验证时可以用本实践来快速完成性能测试。
云消息队列RocketMQ版：是阿里云基于ApacheRocketMQ构建的低延迟、高 并发、高可用、高可靠的分布式“消息、事件、流”统一处理平台，面向互联网分布 式应用场景提供微服务异步解耦、流式数据处理、事件驱动处理等核心能力。文档版本：20240506 6RocketMQ性能压测快速方案 前置条件 前置条件 在进行本文操作之前，您需要...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
这些场景 通常需要处理大量的数据，并实时生成准确的响应。通过将 Qwen/chatglm2-6b等部署在函数计算 FC 上，提供了高效、弹性、低成本的部署解决方案。解决问题•简化模型部署流程•全链路自适应弹性，无需为流量峰谷做频繁的手工处理•内置CICD平台能力，灰度，回滚，监控开箱即用•按量付费模式，没有资源闲置费用 最佳...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
开启查询分析功能 步骤1 在使用 SLS的数据分析功能进行分析之前，必须开启分析功能才能进行数据分析（未 开启分析之前的数据无法进行分析）。鼠标移至查询分析，点击设置按钮。步骤2 点击“+”添加自定义需要分析的字段（即日志采集上来的字段），设置类型（bhv_value 需要累计，故设置为 doblue），设置别名（即 SQL查询时...
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
工作原理 Kibana：用于查询、分析和可视化展示数据 Elasticsearch：用于存储Kibana的Meta数据，主要为配置信息，由于Kibana的Meta 信息经常需要更新，而SLS不支持更新操作，因此需要部署一个Elasticsearch专门 用于存储kibana的Meta数据 Proxy：用于区分Kibana对Meta数据和日志服务Elasticsearch兼容接口的API请求，需要...
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测
本篇最佳实践先创建EMR集群作为数据湖对象，Hive元数据存储在DLF，外表数据存储在OSS。然后使用阿里云数据仓库MaxCompute以创建外部项目的方式与存储在DLF的元数据库映射打通，实现元数据统一。最后通过一个毒蘑菇的训练和预测demo，演示云数仓MaxCompute如何对于存储在EMR数据湖的数据进行加工处理以达到业务预期。
基于湖仓一体架构使用MaxCompute对OSS湖数据分析预测实践 业务架构 场景描述 数据湖和数据仓库是当前大数据技术条件下构建分布式系 统的两种数据架构设计取向，数据湖偏向灵活性，数据仓 库侧重成本、性能、安全、治理等企业级特性。但是数据 湖和数据仓库的边界正在慢慢模糊，数据湖自身的治理能 力、数据仓库延伸到外部...
MaxFrame
MaxFrame 是由阿里云自研的分布式计算框架，支持 Python 编程接口并可直接使用 MaxCompute 计算资源及数据接口，同时与 MaxCompute Notebook、镜像管理等功能共同构成了 MaxCompute 完整的 Python 开发生态。用户可以以更熟悉、高效的方式进行大规模数据处理、可视化数据分析及科学计算、ML/AI 开发等工作。
处理数据量大、处理逻辑复杂，需要基于 MaxCompute 海量数据及弹性计算资源及 MaxFrame 分布式能力进行大规模数据分析、处理及数据挖掘，提高开发效率.面向 Data+AI 开发，需要依赖第三方或自定义镜像完成数据开发、模型开发等整体流程.推荐搭配使用.海量数据处理、数据科学、机器学习、AI 开发.基于 MaxFrame 进行大规模...
来自：
云产品
云原生数据湖分析DLA
阿里云云原生数据湖分析是新一代大数据解决方案，采取计算与存储完全分离的架构，支持对象存储(OSS)、RDS(MySQL等)、NoSQL(MongoDB等)数据源的消息实时归档建仓，提供Presto和Spark引擎，满足在线交互式查询、流处理、批处理、机器学习等诉求。内置大量优化+弹性，比开源自建集群最高降低50%+的成本，最快可1分钟级拉起300个计算节点，快速满足业务资源要求。
兼容MySQL协议，无需ETL，可使用SQL直接分析OSS等数十种源数据，快速低成本开启大数据分析.云数据库RDS MySQL版.对象存储OSS.推荐搭配产品.Lakehouse实时入湖.异构数据实时分析，为数据驱动提速.直接使用生产库对海量数据分析，不仅会对线上业务产生影响，还可能出现超时，查询失败的现象；但自建数据仓库又需投入大量的软...
来自：
云产品
基于函数计算FC实现企业级权限精准控制Kafka跨实例消息同步
应用场景 在大数据场景，企业的Kafka实例可能存在多种情况，比如使用阿里云Kafka服务，可能是自建开源Kafka，或者是其他云上的云Kafka。不同的业务使用不同类型的Kafka实例，在这个前提下Kafka实例之间可能会需要消息同步的情况： 同帐号容灾场景：比如Kafka实例都是阿里云Kafka，但是Kafka实例会有主备之分，需要将主Kafka实例的消息实时同步到备Kafka。 跨帐号或异地容灾：这类场景比如主Kafka是阿里云Kafka，备Kafka是IDC开源自建Kafka，或者是其他云上的Kafka。 不同业务之间消息同步：因为现在的业务通常不会是信息孤岛，都需要消息互通，所以可能是A业务的Kafka实例消息需要同步到B业务的Kafka实例，并且这两个Kafka实例归属不同的RAM角色，有自己独自的权限控制。 解决问题 解决使用开源组件做消息同步的高成本问题。 解决使用开源组件做消息同步的并发性能、稳定性问题。 解决使用开源组件做消息同步的可靠性问题（重试机制，容错机制，死信队列等）。 大幅提升构建消息同步架构的效率，降低构建复杂度问题。
云消息队列Kafka版广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。 云服务器ECS（ElasticComputeService）：是阿里云提供的性能卓越、稳定可靠、弹性扩 展的IaaS（InfrastructureasaService）级别云计算服务。云服务器ECS免去了您采购IT 硬件的前期准备...
容器多云统一监控日志
多云、混合云成为常态，Forrester 报告中指出，未来 89% 的企业至少使用两个云，74% 的企业至少使用三个甚至更多公有云，在面对多云/混合云这样大的趋势下，Gartner报告指出，安全、运维复杂性、财务复杂性是多云架构的主要挑战，本方案给出了在多云/混合云场景下，构建基于容器环境下的统一管理、统一监控和统一日志方案，解决多云、混合云场景下，运维复杂性问题。 应用场景 客户在阿里云以外的其他云服务商（AWS、Azure、GCP、TencentCloud、HuaweiCloud等）或者IDC基于容器（Kubernetes）运行业务系统，希望构建容器场景下的统一监控日志系统，方便做不同大屏和问题分析定位。 解决问题 •构建容器多云统一监控和日志系统，在一个平台可以看到不同环境系统的运行情况。
日志服务SLS：是云原生观测与分析平台，为Log、Metric、Trace等数据提供 大规模、低成本、实时的平台化服务，日志服务一站式提供数据采集、加工、查 询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。文档版本：20240322 2容器多云统一监控日志 最佳实践概述 应用...
基于函数计算FC实现阿里云Kafka消息内容控制MongoDB DML操作
在大数据ETL场景，将Kafka中的消息流转到其他下游服务是很常见的场景，除了常规的消息流转外，很多场景还需要基于消息体内容做判断，然后决定下游服务做何种操作。 该方案实现了通过Kafka中消息Key的内容来判断应该对MongoDB做增、删、改的哪种DML操作。 当Kafka收到消息后，会自动触发函数计算中的函数，接收到消息，对消息内容做判断，然后再操作MongoDB。用户可以对提供的默认函数代码做修改，来满足更复杂的逻辑。 整体方案通过CADT可以一键拉起依赖的产品，并完成了大多数的配置，用户只需要到函数计算和MongoDB控制台做少量配置即可。
云消息队列 Kafka 版广泛用于日志收集、监控数据聚合、流式数据处理、在 线和离线分析等大数据领域，已成为大数据生态中不可或缺的部分。l 云数据库 MongoDB 版（ApsaraDB for MongoDB）：完全兼容 MongoDB 协议，基于飞天 分布式系统和高可靠存储引擎，提供多节点高可用架构、弹性扩容、容灾、备份恢复、性能 优化等功能。...
容器场景下的应用性能监控、调用链拓扑、内存剖析
场景描述 随着云原生及微服务技术的普及，越来越多的系统已经通过云原生和微服务技术实现企业的降本增效，同时因微服务及云原生的复杂性给系统运维带来非常大的挑战，云原生应用监控arms通过全链路应用监控，从端到端及代码级别的链路下钻能力、CPU、内存持续剖析及诊断能力，帮助客户降低系统故障定位难度，此demo，您将体验arms的链路监控、内存剖析等能力 应用场景 微服务+容器场景下链路调用拓扑，调用链可以显示出服务之间的调用顺序和层次关系，帮助开发人员理解和追踪代码的执行流程 在分布式系统中，一个请求往往需要通过多个服务来完成。当出现问题时，如请求超时、错误或异常，很难快速定位问题所在。 解决问题 调用链可以帮助运维人员解决以下问题： · 故障排查：当请求失败或出现错误时，调用链可以显示整个请求的路径和每个服务的执行情况，从而帮助运维人员快速定位问题所在。 · 性能优化：通过调用链，运维人员可以了解请求在系统中的执行时间和瓶颈所在，从而进行优化。 · 系统监测：调用链可以提供实时的系统监测和分析，帮助运维人员了解系统的健康状况和资源利用情况。
步骤2 查看应用链路拓扑，可以看到业务完整链路拓扑，同时可以看到此链路的请求数，响 应时间，错误数等核心指标信息 文档版本：20240329 34容器场景下的应用性能监控、调用链拓扑、内存剖析 场景验证 5.2.调用链性能分析 步骤1 选择调用链分析，点击traceid，可以看到这个trace下面的详细链路调用及耗时，点击 ➕加号，...
向量检索与通义千问搭建专属问答服务
本方案介绍如何使用向量检索服务（DashVector）结合通义千问大模型来打造基于垂直领域专属知识等问答服务。解决大模型本身在处理特定领域的知识表示和应用时的局限性。为企业提供部署简单，便于集成，实时高效，专业稳定的应用服务。
智能旅游顾问可通过机器学习进行用户画像和旅游需求分析，提供个性化的旅游路线和景点推荐，并根据用户的反馈进行自动迭代和优化。提供更加个性化、人性化的旅游服务。方案部署01部署准备开通灵积模型服务、向量检索服务，并获得API-KEY、完成Cluster创建。准备开发环境及数据。02本地知识库向量化创建embedding.py文件，并...
来自：
解决方案
基于MSE云原生网关同城多活
借助云原生微服务MSE网关，MSE配置注册中心的同城容灾多活微服务应用。构建一个经典的微服务场景，实现同城容灾的步骤，体现云原生相关产品在用户上云，高可用同城容灾多活场景下的能力。
文档版本：20240423 40 基于MSE云原生网关同城多活最佳实践 场景验证 步骤4 等待压测任务生成 步骤5 查看压测数据 步骤6 通过在 ack-main中删除资源方式模拟机房故障，有损秒级切换，查看 PTS压测曲线 文档版本：20240423 41 基于MSE云原生网关同城多活最佳实践 场景验证 服务删除时，压测曲线会出现毛刺，请记录删除操作...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
不仅提供云上开箱即用 的 Elasticsearch、Logstash、Kibana、Beats在内的 Elastic Stack生态组件，还 与 Elastic官方合作提供免费 X-Pack（白金版高级特性）商业插件，集成了安全、SQL、机器学习、告警、监控等高级特性，被广泛应用于实时日志分析处理、信息 检索、以及数据的多维查询和统计分析等场景。云原生数据仓库 ...
基于SpringCloud应用玩转MSE实践
随着业务不断创新，大型的单个应用和服务会被拆分为数个甚至数十个微服务，微服务架构已经被广泛应用。 微服务的好处在于快速迭代，如何在迭代过程中保障线上流量不受损。依赖开源产品缺少无运维工具，常常需要投入较大的运维人力和成本。 本实践提供基于云原生应用产品提供微服务注册配置中心、微服务治理和云原生网关等一系列高性能和高可用的企业级云服务能力。
基于SpringCloud应用玩转MSE实践 业务架构 场景描述 随着业务不断创新，大型的单个应用和服务会被拆分为数 个甚至数十个微服务，微服务架构已经被广泛应用。微服 务的好处在于快速迭代，迭代过程保障线上流量不受损。依赖开源产品缺少专业运维工具，常常需要投入较大的运 维人力和成本。本实践基于云原生应用产品提供微服务...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
文档版本：20211203 24 SLS多云日志采集、处理及分析 Logtail日志采集处理分析 注意：查询分析设置的修改操作只会对新写入的数据生效，如果您需要提前对查询分 析设置的某些字段分析统计生效，请使用指定字段查询的自定义方式在日志写入到日 志库之前进行开启统计查询。步骤4 再次启动日志发生器和停止日志发生器。按云...
- 产品推荐
- 这些文档可能帮助您