主要能力 数据采集：DataHub服务对各种移动设备、应用软件、网站服务及传感器等多种来源产生的大量流式数据，进行持续采集、存储和处理。实时处理：写入DataHub的流式数据（如Web访问日志、应用事件等）可通过流计算引擎（如StreamCompute...
“QuickTracking管理后台-数据采集-埋点验证-PC应用验证”标识/sdkConfig.debugKey="97052112091876_xxxxx;设置本地缓存事件条数上限，默认值为10000条，超过部分删除处理/sdkConfig.maxCacheSize=10000;是否开启H5桥接事件监听，默认关闭/...
机器组是包含多台服务器的虚拟分组，日志服务通过机器组的方式管理所有需要通过Logtail采集日志的服务器，支持将多台服务器上的日志采集到一个Logstore中。前提条件 已创建Project，具体 请参见 创建项目Project。服务器已安装Logtail，...
数据采集：采集设备实时数据，集成信息系统业务数据 提供标准化设备数据接入流程，快速采集设备数据 广泛设备协议接入能力，支持OPC、Modbus和多种三方驱动协议 支持API、WebService、消息队列、FTP文件多种业务数据集成方式 根据业务规则...
Logtail会根据您的采集配置定期请求指定的URL，将请求返回的Body内容作为数据源上传到日志服务。本文介绍如何通过日志服务控制台创建Logtail采集配置采集HTTP数据。前提条件 已在服务器上安装Logtail。更多信息，请参见 安装Logtail（Linux...
日志服务一站式提供数据采集、加工、查询与分析、可视化、告警、消费与投递等功能，全面提升您在研发、运维、运营、安全等场景的数字化能力。收费，详情参见 产品定价。云服务器ECS 云服务器ECS（Elastic Compute Service）是一种简单高效...
您可使用Telegraf采集Redis监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Redis可视化监控方案。本文介绍如何通过日志服务来完成Redis监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接...
您可使用Telegraf采集MySQL监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建MySQL可视化监控方案。本文介绍如何通过日志服务来完成MySQL监控数据的采集和可视化。前提条件 Telegraf所在的服务器可通过内网连接...
您可使用Telegraf采集Clickhouse监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Clickhouse可视化监控方案。本文介绍如何通过日志服务来完成Clickhouse监控数据的采集和可视化。前提条件 Telegraf所在的服务器可...
您可使用Telegraf采集MongoDB监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建MongoDB可视化监控方案。本文介绍如何通过日志服务来完成MongoDB监控数据的采集和可视化。前提条件 已创建Project和MetricStore。具体...
您可使用Telegraf采集Elasticsearch监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Elasticsearch可视化监控方案。本文介绍如何通过日志服务来完成Elasticsearch监控数据的采集和可视化。前提条件 Telegraf所在的...
单击 前往采集中心查看，返回 Beats数据采集中心 页面，在 采集器管理 区域中，查看启动成功的Metricbeat采集器。等待 采集器状态 变为 已生效 后，单击右侧 操作 栏下的 查看运行实例。在 查看运行实例 页面，查看 采集器安装情况，当显示...
使用限制 只有Linux Logtail 0.16.50及以上版本的Logtail支持采集Nginx监控数据。如果您已在服务器上安装旧版本的Logtail，需先升级。具体操作，请参见 安装Logtail（Linux系统）。操作步骤 登录 日志服务控制台。在 接入数据 区域的 监控...
您可使用Telegraf采集NVIDIA GPU监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建NVIDIA GPU可视化监控方案。本文介绍如何通过日志服务来完成NVIDIA GPU监控数据的采集和可视化。前提条件 已创建Project和...
由于Linux系统对SMB协议的兼容程度较低，建议仅在需要跨操作系统共享数据的情况下使用Linux系统挂载SMB协议文件系统。本文主要介绍如何将SMB协议文件系统挂载至云服务器ECS（Linux）上并执行读写操作。前提条件 在创建SMB协议文件系统的...
问题症状 GRUB引导Linux系统启动时黑屏并且一直没有反应，即使采用单用户模式也无效。问题原因 确认/boot目录下文件是否完整。本例为/boot 目录下缺少了initramfs-.img文件，如下图所示。解决方案 搜索文件系统，如果有该文件，拷贝过来...
在Linux系统中，Memory Cgroup（Memcg）是内核用于限制和监控进程组内存使用的核心机制。在容器场景中，由于容器文件缓存、共享内存等占用导致容器删除后内核没有完全释放Memcg，形成“僵尸Memcg”。泄漏的“僵尸Memcg”会占用系统内存资源...
性能采集负责对实例进行实时性能数据采集，涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等。决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断，以基于根因的全局自治，例如可通过SQL限流来解决...
操作步骤 获取Linux操作系统镜像公共参数 获取支持的Linux发行版本 如果想获取aliyun/services/ecs/images/下所有Linux系统的类型，可以使用GetParametersByPath，运行以下命令：aliyun oos GetParametersByPath-Path aliyun/services/ecs/...
Linux系统长时间运行会出现内存碎片化的问题，本文主要提供了应对该问题的一些措施。问题现象 实例内部署的业务偶然出现响应时间过长或者系统调用时间过长，系统的 sys 指标也会相应的增高，伙伴系统会缺少高阶内存（order 大于3的内存）。...
但在实际中，某些特定场景有创建硬链接的需求，因此Alibaba Cloud Linux 2和Alibaba Cloud Linux 3提供定制接口，该接口能够绕过ext4文件系统中的约束，实现跨目录配额创建硬链接。本文主要介绍实现该功能的接口及接口示例。背景信息 Linux...
OS Copilot是阿里云基于大模型构建的操作系统智能助手，支持自然语言问答、辅助命令执行、系统运维调优等功能，帮助您更好地使用Linux系统，提高Linux的使用效率。本文主要介绍OS Copilot的产品优势、功能介绍及使用方法。发布记录 版本号 ...
可选：首次进入 Beats数据采集中心 页面，需要在服务授权对话框中查看提示信息，无误后单击 确认，授权系统创建服务关联角色。说明 Beats采集不同数据源中的数据时，依赖于服务关联角色以及角色规则。使用过程中请勿删除服务关联角色，否则...
flush_interval 1s buffer_chunk_limit 3m buffer_queue_limit 128 dirty_data_continue true dirty_data_file 脏数据记录文件路径 retry_times 3 put_data_batch_size 1000/match 使用如下命令启动Fluentd，即可完成CSV文件数据采集进入...
本文提供了将数据采集到阿里云Elasticsearch服务中的几种解决方案。背景信息 对于数据搜索和分析来说，Elasticsearch无处不在。开发人员和社区可使用Elasticsearch寻找各种各样的使用场景，从 应用程序搜索 和 网站搜索，到日志、基础架构...
本文档介绍了Linux系统查杀木马的最佳实践。背景信息 系统安全存在漏洞或未采取足够的安全加固措施时，Linux系统可能会被植入木马程序。及时清理木马程序后，还需提高安全意识，从安全补丁加固、系统权限加固、操作审计、日志分析等多维度...
本文介绍如何配置阿里云ECS作为非阿里云数据迁移至阿里云NAS的中转节点。前提条件 已创建文件系统。具体操作，请参见 创建文件系统。使用新购ECS作为数据传输中转节点 上传下载文件数据需要占用ECS公网带宽，建议您新购一台ECS实例专门负责...
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
Linux 补丁管理支持的Linux系统包括 CentOS/Alibaba Cloud Linux/Debian/Ubuntu 等，不同OS使用不同的包管理工具，具体如下，不同包管理工具扫描、安装系统补丁的原理不同。OS 包管理工具 CentOS 7、Alibaba Cloud Linux 2、Red Hat ...
Linux系统及其用户进程运行过程中会产生Page Cache（文件缓存），随着运行时间的增加，Page Cache的占比逐渐上升，进而占用更多的系统资源。这可能导致对性能敏感型业务出现性能抖动，甚至引发部分任务出现OOM（Out of Memory）现象。在...
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
loop设备是一种在Linux系统中使用的虚拟块设备。它允许将常规文件模拟为块设备，从而使操作系统能够像访问物理磁盘或分区一样访问这些文件。losetup命令用于在Linux中创建一个设备映射器，将文件与loop设备关联起来。本文介绍了Alibaba ...
分类 文档链接 基本概念说明 Logtail基本问题 日志采集Agent对比 心跳问题 Logtail机器组问题排查思路（主机场景）采集问题 通用场景 查询本地采集状态 如何查看Logtail采集错误信息 Logtail采集日志失败的排查思路 日志服务采集数据常见的...
只有Linux Logtail 0.16.44及以上版本的Logtail支持采集Open-Falcon数据。如果您已在服务器上安装旧版本的Logtail，需先升级。具体操作，请参见 安装Logtail（Linux系统）。出于性能和可靠性考虑，推荐将Logtail和Open-Falcon的transfer...
当IP地址发生冲突或IP改变会导致心跳失败，影响数据采集。用户自定义标识机器组 通过在机器组中配置一个用户自定义的字符串作为识别标识，并在服务器上的标识文件中添加该字符串来进行关联。一台服务器的标识文件中可配置多个用户自定义...
printk死锁是指在使用Linux内核中的 printk 函数打印日志时，由于某种原因导致系统中两个或多个线程相互等待对方释放资源而无法继续执行的情况。printk死锁会影响系统应用程序和业务的正常运行，最终触发内核宕机，所以预防和及时解决...
Kdump是Linux系统的一种内核崩溃转储机制，它允许在系统发生内核崩溃（例如内核panic）时，捕获内存的转储信息，从而帮助事后分析故障原因。该过程需要一块预留内存（称为crashkernel内存），以确保即使在系统崩溃时也有足够的内存来保存...
Logtail多年来一直承载着阿里巴巴集团重要服务的数据采集。每天采集数百万服务器上的实时数据，日流量数十PB，并历经多次双十一挑战。相关性能指标，请参见 Logtail提升采集性能。相关技术分享，请参见 Logtail技术分享一 和 Logtail技术...
kdump是一种为Linux内核提供崩溃转储机制的服务，旨在系统发生崩溃时捕获内存快照（vmcore）。通过该机制，用户能够在系统故障后分析内核崩溃时的状态，以确认导致崩溃的原因。当kdump服务异常时，可能导致内存快照生成失败，此时可以通过...
背景信息 Linux操作系统的内存采用分页管理模式，其中的THP是指内核中2 MiB或1 GiB大小的大页面（普通的小页面大小为4 KiB），一般被称为透明大页。基于应用程序使用到的内存范围越来越大，地址转换产生的开销变得不可忽视。因此，当服务器...