阿里云日志服务SLS多云统一日志方案之腾讯云日志采集最佳实践
使用日志服务SLS统一采集、存储、查询和分析阿里云、腾讯云等不同云厂商上的业务日志、系统日志和云产品日志，实现在一个平台上管理多云架构下的所有日志。
外部发布 制作人 静虚 审阅人 厉博 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-04-22 静虚 厉博 初始版本 文档版本：20240422 I 阿里云SLS多云统一日志方案之腾讯云日志采集最佳实践 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.IV 前置条件.1 1.基础环境搭建.2 1.1.基于CADT构建阿里云环境.2 1....
通过ES兼容接口方式使用Kibana访问SLS数据
自建ELK日志系统的客户迁移到阿里云日志服务SLS后，对SLS查询分析语法不太熟悉的客户，可以继续沿用原有的查询分析习惯，在不改变使用方式习惯的情况下，通过Elasticsearch兼容接口的方式使用Kibana访问SLS。
释放环境 根据返回结果可以看到，wordpress-5b7c65b499-vsjhc这个pod中正在运行的 Wordpress容器，是基于Bitnami镜像构建的 步骤2 确定容器内部日志路径 进入容器内查看基于Bitnami镜像构建wordpress应用日志路径：/opt/bitnami/apache/logs下的日志文件 kubectlexec-itwordpress-5b7c65b499-vsjhc-cwordpress-namespace=...
基于函数计算FC实现大语言模型部署
在现代AI应用中， Qwen /chatglm2-6b 和Stable Diffusion等模型因其强大的功能而受到关注。然而，这些模型对计算资源的高需求和复杂的运维管理成为部署时的挑战。基于函数计算FC的无服务器计算模式为这类模型的部署提供了全新的解决方案。用户只需关注模型的部署和调用逻辑，而无需关心底层的服务器配置、资源分配和扩展性等问题。函数计算FC能够自动处理函数的执行环境，包括冷启动、弹性伸缩等，确保模型能够在大规模的请求下稳定运行。
外部发布 制作人 寰奕 审阅人 百潼、游圣 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-04-26 寰奕 百潼 初始版本 V1.1 2024-04-29 游圣 内容优化版本 文档版本：20240429 I 基于函数计算 FC实现大语言模型部署最佳实践 法律声明 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.1 1.方式1使用魔...
基于MSE云原生网关实现全链路灰度
在微服务场景中，应用间的调用是随机的。当您部署的Spring Cloud应用或Dubbo应用存在升级版本时，可能会导致无法将具有一定特征的流量路由到应用的目标版本。通过MSE提供的全链路灰度能力，您无需修改业务代码，就可以实现端到端的全链路流量控制。泳道可以将应用的相关版本隔离成一个独立的运行环境。通过设置泳道规则，可以将满足规则的请求流量路由到目标版本的应用。
文档编号 379 文档版本 V1.0 版本日期 2024-04-29 文档状态 外部发布 制作人 弑魔 审阅人 嘉辽 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-04-29 弑魔 嘉辽 创建 文档版本：20240429 I基于MSE云原生网关实现全链路灰度最佳实践 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置条件.8 1....
基于函数计算FC实现阿里云Kafka消息轻量级ETL处理
在大数据ETL场景，Kafka是数据的流转中心，Kafka中的数据一般是原始数据，可能存在多种数据混杂的情况，需要进一步做数据清洗后才能进行下一步的处理或者保存。利用函数计算FC，可以快速高效的搭建数据处理链路，用户只需要关注数据处理的逻辑，数据的触发，弹性伸缩，运维监控等阿里云函数计算都已经做了集成，函数计算FC也支持多种下游，OSS/数据库/消息队列/ES等都可以自定义的对接
ETL处理 文档编号 文档版本 版本日期 2024-04-08 文档状态 外部发布 制作人 尘辉 审阅人 嘉辽 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-04-08 尘辉 嘉辽 初始版本 V1.1 2024-04-08 尘辉 嘉辽 优化版本 V1.2 2024-04-26 尘辉 吉宪，世振 优化版本 文档版本：20240408 I 基于函数计算 FC实现阿里云 Kafka消息轻量...
大模型RAG对话系统部署
大模型RAG对话系统最佳实践，旨在指引AI开发人员如何有效地结合LLM大语言模型的推理能力和外部知识库检索增强技术，从而显著提升对话系统的性能，使其能更加灵活地返回用户查询的内容。适用于问答、摘要生成和其他依赖外部知识的自然语言处理任务。通过该实践，您可以掌握构建一个大模型RAG对话系统的完整开发链路。
V1.0 版本日期 2024-01-31 文档状态 外部发布 制作人 嘉辽 审阅人 变更记录 版本编号 日期 作者 审阅人 说明 V1.0 2024-01-31 嘉辽 V1.1 2024-02-23 嘉辽 向量数据库增加 Hologres和 ADB PG 选项 文档版本：20240131 I 大模型RAG对话系统部署最佳实践 目录 目录 文档版本信息.I 法律声明.II 目录.III 最佳实践概述.4 前置...
基于DataWorks的大数据一站式开发及数据治理
概述 基于Dataworks做大数据一站式开发，包含数据实时采集到kafka通过实时计算对数据进行ETL写入HDFS，使用Hive进行数据分析。通过Dataworks进行数据治理，数据地图查看数据信息和血缘关系，数据质量监控异常和报警。 适用场景 日志采集、处理及分析 日志使用Flink实时写入HDFS 日志数据实时ETL 日志HIVE分析 基于dataworks一站式开发 数据治理 方案优势 大数据一站式开发，完善的数据治理能力。 性能优越：高吞吐，高扩展性。 安全稳定：Exactly-Once，故障自动恢复，资源隔离。 简单易用：SQL语言，在线开发，全面支持UDX。 功能强大：支持SQL进行实时及离线数据清洗、数据分析、数据同步、异构数据源计算等Data Lake相关功能 ，以及各种流式及静态数据源关联查询。
文档版本：20201020 44 基于 Dataworks的大数据一站式开发及数据治理 数据治理 步骤8 在这里可以添加订阅关联，可以以邮件、短信、钉钉的方式通知订阅人。文档版本：20201020 45 基于 Dataworks的大数据一站式开发及数据治理 数据治理 文档版本：20201020 46 基于 Dataworks的大数据一站式开发及数据治理 附件：源码解读 6....
异地双活场景下的数据双向同步
概述 随着客户业务规模的扩大，对系统高可用性要求越来越高，越来越多用户采用异地双活/多活架构，多活架构往往涉及业务侧做单元化改造，本方案仅模拟用户已做单元化改造后的数据双向同步，数据库采用双主架构，本地写本地读，同时又保证双库的数据一致性，为业务增加可用性和灵活性。 适用场景 数据库双向同步 数据库全局ID不冲突 双活架构的数据库建设问题 技术架构 本实践方案基于如下图所示的技术架构和主要流程编写操作步骤： 方案优势 DTS双向同步，采用独立模块避免数据同步占用系统资源。 奇偶ID涉及，避免数据冲突。 DTS多种处理冲突的方式供业务选择。 安全：原生的多租户系统，以项目进行隔离，所有计算任务在安全沙箱中运行。
文档版本信息 文档版本信息 文本信息 属性 内容 文档名称 异地双活场景下的数据双向同步 文档编号 178 文档版本 V1.1 版本日期 2022-02-09 文档状态 外部发布 制作人 游士 审阅人 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2020-11-30 弦望、青俞 创建 更新 CADT 创建步骤及 V1.1 2022-02-09 游士 控制台更新步骤 ...
基于k8s多集群隔离环境下的devops实现
场景描述 DevOps是一组过程、方法与系统 的统称，并通过工具实现自动化部署， 确保部署任务的可重复性、减少部署出 错的可能性。随着微服务、中台架构的 兴起，devops重要性日益显著。 本方案使用两个独立的k8s集群： 用户已有的k8s模拟测试，ack集群模 拟生产环境，保证环境的高度隔离，互 不影响。通过gitlab+Jenkins的黄金组 合，实现容器应用的自动化构建和持续 部署，提高迭代效率。 解决问题 1.微服务应用的CI/CD。 2.测试和生产环境的高度隔离。 3.自动化的测试与部署。 4.现有CI对接ACK。 产品列表 专有网络VPC 容器服务ACK 容器镜像服务ACR 弹性公网IP 负载均衡SLB
脚本逻辑架构 本方案中，通过 pipeline脚本，实现拉取代码、编译打包、构建容器镜像并上传仓库、部署至测试环境、测试、审批、部署至生产环境，如下图所示：文档版本：20220121 44 基于 K8S多集群隔离环境下的 DevOps实现 持续集成及持续部署 pipeline脚本实现，大致涉及到以下概念：node（节点）节点是一个机器，它是 ...
基于弹性计算的AI推理
场景描述 本方案适用于使用GPU进行AI在线推理的场 景。在推理之前，模型已经训练完成。例如,刷脸 支付中，我们在刷脸的时候，就是推理的一个过 程。再比如图像分类，目标检测，语音识别，语 义分析等返回结果的过程。 解决问题 使用GPU云服务器搭建推理环境 使用容器服务Kubernetes版构建推理 环境 使用NAS存储模型数据 使用飞天AI加速推理工具加速推理 产品列表 GPU云服务器 容器服务Kubernetes版 NAS共享存储
3.Frozen inference的步骤。操作步骤 步骤1 登录 Notebook。步骤2 单击进入 ai-starter目录。可以看到该目录下提供了 demo程序。步骤3 上传推理用 demo文件。1.打开 Files页签，并单击 Upload。2.从本地选择推理的 ipython文件（Mobilenet_Example.ipynb），并单击打开。32 企业上云实践 基于弹性计算的 AI推理|部署 ...
虚拟桌面架构的高性能体验云上部署
场景描述 针对自建虚拟化桌面架构迁移阿里云，以及有虚拟化桌面 架构需求上云。包括但不限于： 1.有许可证合规要求，利用自带license快速上云的客户。 2.对数据安全较高要求，需要快速构建虚拟化桌面的客 户。 解决问题 利用云上灵活性和规模化优势，构建云上更加高效、高性 能体验的服务，为客户解决： 1.客户VDI部署的需求，能够更及时的得到满足。 2.解决硬件资源限制，根据业务规模化部署并集中管 控。 3.利用公共云的网络、计算、备份容灾方案、安全防护 等，提供高可靠、高性能、高体验的远程桌面服务。 产品列表 VPC（专有网络） SLB（负载均衡） CEN（云企业网） 专有宿主机 OpenAPI
文档编号 077 文档版本 V1.1 版本日期 2019-12-24 文档状态 外部发布 制作人 阿瑟 审阅人 何川、翰辰 文档变更记录 版本编号 日期 作者 审核人 说明 V1.0 2019/07/12 阿瑟 何川、翰辰 创建 V1.1 2019/12/24 阿瑟 添加首页概览 I 企业上云实践 虚拟桌面架构的高性能体验云上部署|前言 前言 概述 本方案针对自建虚拟化桌面...
基于Flink的资讯场景实时数仓
场景描述 本实践针对资讯聚合类业务场景，Step by Step介绍 如何搭建实时数仓。 解决问题 1.如何搭建实时数仓。 2.通过实时计算Flink实现实时ETL和数据流。 3.通过实时计算Flink实现实时数据分析。 4.通过实时计算Flink实现事件触发。 产品列表 实时计算 专有网络VPC 云数据库RDSMySQL版 分析型数据库MySQL版 消息队列Kafka 对象存储OSS NAT网关 DataV数据可视化
原始数据预处理中的步骤 6~步骤 8完成作业剩余的开发、上线和运维。步骤3 在 ECS控制台再发送一条消息。bin/kafka-console-producer.sh-broker-list {默认接入点 }-topic app_log_origin 发送一条消息：{"message":"2022-02-15 00:03:000,111,oppo-01,183.160.64.64,0002,100001,001,100002,0"} 步骤4 去 ADB查询表 total_...
混合云HBR云上备份VMware虚拟机
场景描述 本文主要介绍一种简单且具备成本效益的混合云下 的备份解决方案，可以为任何位置的客户虚拟机和数 据提供强有力的保护，包括企业数据中心、远程和分 支机构以及云上资源；支持加密、压缩、重删，保证 数据快速、安全、高效地备份到云上，本文重点介绍 混合云下的VMware虚拟机备份。 解决问题 1.混合云下的备份解决方案。 2.VMware虚拟机备份解决方案。 产品列表 1.弹性裸金属服务器 2.文件系统NAS 3.弹性公网IP 4.NAT网关
文档版本：20190716 17 混合云HBR云上备份VMware虚拟机 部署阿里云混合云存储客户端 步骤6 登录部署了vSphereClient的服务器后，打开浏览器（推荐使用chrome浏览器），登 录阿里云管理控制台。步骤7 通过产品与服务导航，定位到混合云备份，单击进入混合云备份服务管理控制台。步骤8 在页面上方选择地域为华东2（上海）。...
弹性计算OOS审批流程自动化运维
场景描述 本文以ECS、RDS、SLB搭建一个小型的WEB系 统为例，介绍如何利用OOS在运维常见的部署系统、 扩容系统、回收系统三个场景中添加审批流程，并以 钉钉通知到对应的审批人员。 解决问题 1.对接阿里云API，通过OOS模板执行运维 任务，实现了运维自动化与可视化。 2.运维操作集成了RAM访问控制权限管理， 无需担心操作安全，并可以快速增加审批流 程，提高运维安全与效率。 产品列表 1.运维编排OOS 2.访问控制RAM 3.云服务器ECS 4.RDSMySQL版 5.负载均衡SLB
步骤2 Tasks中添加审批的任务，需要修改的地方有：钉钉服务地址中的accessToken、钉 钉通知内容、审批人的钉钉手机号码。文档版本：20191122 9 弹性计算OOS审批流程自动化运维 配置钉钉 2.配置钉钉 2.1.钉钉简介 本方案需要使用钉钉机器人作为消息通知工具，钉钉的下载和使用可以参考以下链接。 员工使用手册：...
SLS多云日志采集、处理及分析
场景描述 从第三方云平台或线下IDC服务器上采集 日志写入到阿里云日志服务，通过日志服务 进行数据分析，帮助提升运维、运营效率， 建立DT 时代海量日志处理能力。 针对未使用其他日志采集服务的用户，推荐 在他云或线下服务器安装logtail采集并使用 Https安全传输；针对已使用其他日志采集 工具并且已有日志服务需要继续服务的情 况，可以通过Log producer SDK写入日志 服务。 解决问题 1.第三方云平台或线下IDC客户需要使用 阿里云日志服务生态的用户。 2.第三方云平台或线下IDC服务器已有完 整日志采集、处理及分析的用户。 产品列表 E-MapReduce 专有网络VPC 云服务器ECS 日志服务LOG DCDN
scp 您的日志发生器本机安装包保存路径 root@112.*.*.*:/root/本机执行 例如日志发生器本机安装包路径是/xx/nginx-log-generator-master.tar.gz，那么命 令为 scp/xx/nginx-log-generator-master.tar.gz root@112.*.*.*.*:/root tar zxvf nginx-log-generator-master.tar.gz 步骤3 启动日志发生器。文档版本：20211203 22 ...
基于日志服务构建业务可观测性系统
现在已知的各种监控数据的工具，以及对应的监控系统有非常多的选择，比如ZABBIX，Prometheus，Skywalking等。但是这些系统都存在同样的一个问题，只覆盖了可观察性的一部分，举个简单的类比，大家在日常开车的过程中，会用到很多的辅助设备，仪表盘，行车记录仪，导航，倒车影像等等，这些设备都各自承载了一部分的功能，但是都存在着如下的问题： l 数据覆盖不完整 l 存在数据孤岛（无法关联协同） l 使用门槛高，不够人性化 核心价值 l 全覆盖，统一协议，支持各类平台。 l 数据关联，统一Schema，关联Metrics/Logs。 l 云原生，SaaS服务，拥抱云原生。 l 简单易用，自动化埋点，数十项易用功能。 智能化，异常诊断，根因分析。
步骤3 单击使用现有的机器组，并选择部署的 K8S的机器组。文档版本：20210616 27 基于日志服务构建业务可观察性系统 架构环境搭建 步骤4 选择如下路径/trace-with-log-demo/*/*.log 文档版本：20210616 28 基于日志服务构建业务可观察性系统 架构环境搭建 步骤5 完成查询分析配置，选择默认值。步骤6 查询 k8s集群日志信息...
电商网站数据埋点及分析
场景描述 数据埋点是数据产品经理、数据运营以及数据分 析师，基于业务需求（例如：CPC点击付费广 告中统计每一个广告位的点击次数），产品需求 （例如：推荐系统中推荐商品的曝光次数以及点 击的人数）对用户行为的每一个事件对应的位置 进行开发埋点，并通过SDK上报埋点的数据结 果，记录数据汇总后进行分析，推动产品优化或 指导运营。 解决问题 1.电商网站广告位效果统计分析 2.电网网站推荐商品曝光、点击、购买等行为统 计分析 3.电商网站用户分布分析 4.电商网站页面热点图分析等 产品列表 日志服务SLS Dataworks 云服务器ECS 云数据库RDS版 负载均衡SLB 专有网络VPC
文档版本：20220127 XXVI 电商网站数据埋点及分析 电商网站数据分析 步骤3 设置通知类型（可选邮件和钉钉机器人，本例使用邮件），输入收件人的主题名称提交。步骤4 提交成功后，每天 11点会收到已订阅数据图表。邮件示例如下：文档版本：20220127 XXVII 电商网站数据埋点及分析 附加说明 附加说明 如果您已经完成了本实践...
- 产品推荐
- 这些文档可能帮助您