说明 ECS实例作为源端服务器，Elastic Agent会采集ECS实例上的数据。创建代理策略并添加集成 步骤一：创建代理策略 登录Kibana控制台。具体操作，请参见 登录Kibana控制台。单击 Management Fleet。在 Fleet 页面，单击 代理策略 页签。...
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
海量采集数据有实时归档到离线数仓案并分析的需求。数据分析结果有服务化的需求，需要回流到在线存储。解决方案 Lindorm历经阿里众多核心服务的大规模验证，拥有相关技术领域的技术团队，保障了使用过程的持续稳定、可靠，构建起坚实的离...
Elastic Agent采集NetFlow日志数据 NetFlow是一种网络流量分析技术，用于监测、分析和诊断网络流量，通过Elastic Agent采集服务器上的NetFlow日志数据，帮助管理员实现对服务器网络流量的实时监控和分析。Elastic Agent采集自定义日志数据 ...
重新采集 如果您觉得 数据更新时间 过久，您也可以单击 重新采集 按钮并确认，让系统后台异步重新采集数据。说明 后台异步重新采集数据，请您等待几分钟后刷新页面查看结果。保存PDF 如果您需要将页面保存到本地，请单击 保存PDF，等待PDF...
本教程使用的数据来源于某网站上的HTTP访问日志。基于这份网站日志，您可以统计并展现网站的浏览次数（PV）和独立访客（UV），并能够按照用户的终端类型（如Android、iPad、iPhone、PC等）和地域分别统计。在整体数据链路的处理过程中，为...
重新采集 如果您觉得 数据更新时间 过久，您也可以单击 重新采集 按钮并确认，让系统使用异步方式重新采集数据。说明 使用异步方式重新采集数据时，您要等待几分钟后刷新页面查看最新结果。保存PDF 如果您需要将页面保存到本地，请单击 ...
整体选型说明 架构概述 本架构围绕“数据采集—数据计算—数据架构—数据服务”的逻辑展开，以DataWorks和MaxCompute为核心技术栈，结合标准化的数据建模方法与治理体系，构建稳定、高效、可扩展的数据服务能力。最终目标是支撑商家增长、...
单击 重新采集 按钮并确认，系统后台会异步重新采集数据，等待几分钟后，刷新页面查看最新数据。单击 保存PDF，将页面当前数据以PDF格式保存到本地。在 索引缺失图表信息 区域，以图表形式查看索引缺失的相关指标变化趋势。在 索引缺失详情...
版本 发布时间 发布说明 v0.2.0 2024年11月19日 新增自定义异常数据采集。新增自定义事件数据采集。新增自定义日志数据采集。新增用户扩展信息设置。新增崩溃数据捕获能力。新增CEF框架数据采集能力。v0.1.0 2024年07月29日 支持Session、...
注意事项 采集数据需要使用到 pg_stat_statements 和 pg_stat_kcache 插件，请确保它们已被添加到被采样数据库的 shared_preload_libraries 参数中（默认加载）。说明 修改 shared_preload_libraries 参数方法请参见 设置集群参数。修改该...
工作流程如下：数据采集：DAS Agent 持续采集数据库实例的性能数据，如慢日志、活跃会话等。基线分析：DAS 后台服务处理采集的数据，为各项指标建立动态性能基线。异常检测：实时数据与性能基线进行比对，识别偏离正常范围的自治事件。规则...
注意事项 采集数据需要使用到 pg_stat_statements 和 pg_stat_kcache 插件，请确保它们已被添加到被采样数据库的 shared_preload_libraries 参数中（默认加载）。说明 修改 shared_preload_libraries 参数方法请参见 设置集群参数。修改该...
本文介绍Logtail采集相关的最佳实践。分类 文档链接 安装部署 使用OOS批量安装或升级Logtail 采集 通过Logtail跨阿里云账号采集日志 通过Logtail跨阿里云账号采集容器日志 通过Logtail采集Zabbix数据 采集企业内网服务器日志 警惕日志采集...
版本 发布时间 发布说明 0.3.0 2025年11月11日 优化崩溃数据采集 0.2.1 2024年11月22日 优化自定义设备ID 优化与三方SDK的兼容性 新增支持设置用户ID v0.2.0 2024年11月19日 新增自定义异常数据采集。新增自定义事件数据采集。新增自定义...
Beats是轻量级的数据采集工具，使用 Beats 数据采集器，您可以实时监控系统状态、分析日志并快速识别和解决问题。阿里云Elasticsearch支持Filebeat、Metricbeat、Auditbeat和Heartbeat等多种采集器。您可以根据本文介绍的具体使用场景选择...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
元数据采集工作流说明 若采集的 数据源网络环境与Dataphin集群所在网络环境不通，需要依赖注册调度集群功能，并将采集数据写入到Dataphin部署依赖的对象存储系统（如OSS）作中转，再将数据写入Dataphin系统，此时会产生额外的存储费用。...
Metric 采集间隔（单位/秒)采集数据的时间间隔，默认为15秒。阿里云 ECS 审计日志 配置项 说明 开启采集系统日志 是否采集主机系统日志。系统日志LogStore名称 Project默认自动创建，名称为：workspace-WorkspaceName-RegionId。数据保存...
数据质量支持您保留数据质量监控过程中从数据表中发现的非预期数据，帮助您快速排查、定位问题，提升数据质量。本文为您介绍如何管理数据质量监控过程中从数据表中发现的非预期数据。背景信息 问题数据表 数据质量支持在部分规则校验不通过...
如何使用“埋点验证”模块确认“服务端埋点数据上报”的准确性。说明 文档说明：本文内容为使用QuickTracking 服务端埋点时，如何使用“埋点验证”模块确认“服务端埋点数据上报”的准确性。1 打开埋点验证 打开产品首页，点击顶部导航...
流转 大数据系统通常是端到端的一整套数据开发和治理服务，不仅要采集数据、加工数据，更要将数据提供给业务方使用。因此，其存在错综复杂的数据流转链路，包括但不限于即席查询链路、离线传输链路、实时传输链路、数据服务API链路、其他...
托管Prometheus Agent实现自动采集，采集数据统一存储、统一展示、统一告警。非阿里云主机不具备自动服务发现的能力，所以需要依赖用户在接入时手动安装阿里云采集探针，主动将监控数据上报到阿里云Prometheus存储。优势 说明 主机秒级发现...
托管Prometheus Agent实现自动采集，采集数据统一存储、统一展示、统一告警。非阿里云主机不具备自动服务发现的能力，所以需要依赖用户在接入时手动安装阿里云采集探针，主动将监控数据上报到阿里云Prometheus存储。优势 说明 主机秒级发现...
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。...后续步骤 现在，您已经学习了如何通过数据同步采集数据，您可以继续下一个教程。在该教程中，您将学习如何对采集的数据进行计算与分析。详情请参见 加工数据。
设备协议模块可创建的协议以及各协议的功能如下：设备采集协议：将设备数据自动推送到云控平台数据采集端口。数据转化协议：将数据采集协议推动上来的设备数据转化为交通云控平台的标准格式。数据（控制）下发协议：使交通云控平台下发的...
cpu,cuda_kernel 检测时长 检测时长建议控制在60s以内，Profiling为实时采集，采集数据过多可能会对您的内存和磁盘产生压力。5 步骤二：结果展示 等待 状态 栏变为 成功 后，可单击 诊断详情，查看相应信息。AI Profiling默认使用SysOM对...
新一代智能数据采集与分析工具，简单采集、轻松分析。在大数据与AI时代，丰富、准确的数据对于提升用户体验、促进业务增长至关重要。Quick Tracking 智能采集分析助手基于先进的大模型技术，智能理解页面信息并推荐埋点方案，生成埋点代码...
阿里云数据湖构建（Data Lake Formation，简称 DLF）是一款全托管的快速帮助用户构建云上数据湖及Lakehouse的服务，为客户提供了统一的元数据管理、统一的权限与安全管理以及一键式数据探索能力。DLF可以帮助用户快速完成云原生数据湖及...
慢加载统一使用页面采集的日志）1 白屏数据 1 白屏截屏 50 重要 白屏监控分为“极有可能白屏”和“有可能白屏”两种，“有可能白屏”仅采集白屏数据，“极有可能白屏”采集白屏数据和白屏发生时的截图，因截图为图片消耗较大，系数为50。...
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
Prometheus实例 阿里云 可观测监控 Prometheus 版 提供的管理 可观测监控 Prometheus 版 数据采集和数据存储分析的逻辑单元。Prometheus探针 部署在用户侧或者云产品侧Kubernetes集群。负责自动发现采集目标、采集指标和远程写到其他库。...
采集数据常见的错误类型请参见 日志服务采集数据常见的错误类型。默认情况下，一个日志文件只能匹配一个Logtail配置。如果同一份日志需要被采集多份，请参见 如何实现文件中的日志被采集多份。将企业内网服务器日志采集到日志服务，请参见 ...
本文介绍 数据库自治服务DAS 不同版本的费用、到期、欠费以及续费说明。重要 实际价格以产品购买页为准。定价格式说明*.*元/GB：日志流量、日志索引、SQL洞察、冷查询等功能使用过程中产生的 流量费用，按照所产生的数据量收取。元/GB/天：...
您可以为从指定数据源采集的元数据配置其归属的来源系统，方便后续对元数据进行分类管理、资产对象筛选、血缘关系展示等。本文为您介绍如何创建及管理来源系统。权限说明 超级管理员、系统管理员和具有 来源系统-管理 权限的自定义全局角色...
您可以为从指定数据源采集的元数据配置其归属的来源系统，方便后续对元数据进行分类管理、资产对象筛选、血缘关系展示等。本文为您介绍如何创建及管理来源系统。权限说明 超级管理员、系统管理员和具有 来源系统-管理 权限的自定义全局角色...
v2.0.9 开始 5 数据采集开关 SDK默认开启数据采集能力，您也可以通过开启/关闭的 API控制数据采集的时机。（2.2.2 及以上版本支持）重要 默认为开启采集，如果开发者未设置或删除了 localstorage 中的 aplus-sdk-disable 字段，则仍会开启...
iLogtail采集配置生效后，Logtail开始采集数据，并发送到日志服务中。cube.yaml 为文件名，请根据实际情况替换。kubectl apply-f cube.yaml 查看iLogtail采集配置 查看当前Kubernetes集群中所有由 AliyunPipelineConfig 创建的iLogtail采集...
TSDB 具备秒级写入百万级时序数据的性能，提供高压缩比低成本存储、预降采样、插值、多维聚合计算、可视化查询结果等功能，解决由设备采集点数量巨大、数据采集频率高造成的存储成本高、写入和查询分析效率低的问题。TSDB是一个分布式时间...
数据采集 功能权限 功能权限名称 权限说明 数据采集_埋点验证访问 可以访问「数据采集-埋点验证」，使用埋点验证功能并可以查看验证报告 注意：必须要有至少一个「数据采集」的“数据权限”才能正常访问。数据权限 数据权限名称 权限说明 ...