通常需要实时获取业务系统产生的数据，基于数据更新进行实时计算。HBase具有高吞吐，低延迟，schemaFree，水平扩展等能力，被很多大数据类应用选择。而接合LindormStreams+Blink/Spark，可以构建出一套完整的实时数据系统：应用解耦-实时...
2.采集日志至专属LogStore 在此步骤中，您需要将安全厂商的原始日志样本，通过SLS提供的数据采集方式，解析成键值对形式，存储到CTDR专属Logstore中，才能在CTDR控制台进行下一步的日志解析规则映射，即对日志进行标准化处理。重要 如果将...
采集的数据量大吗？主要采集哪些内容？采集主要收集数据库本身记录的一些统计信息，主要的数据量来自数据库对象的DDL和记录的历史SQL文本信息，所有大小取决于客户的对象数量、大小和SQL文本大小，一般都不会超过1G。终端提示“connection ...
您可以通过配置AliyunLogConfig的YAML文件创建对应的CR，从而管理Logtail组件日志采集的配置。下方示例代码以创建名为systemd-journal-log-config的Logtail采集配置为例，介绍如何采集集群内所有节点/logtail_host/var/log/journal 路径下...
资产说明 Logstore 开启数据采集功能后，日志服务默认在PolarDB MySQL集群所在地域创建一个名为 aliyun-product-data-阿里云账号ID-地域ID 的Project，名为 polardb_audit_log、polardb_log 的Logstore。polardb_audit_log Logstore用于...
说明 当initCallback回调的 Code 值返回不为10000的时候，可以在App后续的逻辑中重新调用initDevice接口进行数据采集，直到成功为止。获取客户端Token 获取客户端Token，并上报到业务服务器，后续通过服务器端 设备风险识别事件及返回参数...
修复 修复Logtail使用历史数据采集之后进程无法优雅退出的问题。1.8.6 发布时间：2024.01.30 优化 Golang插件指标数据和上报逻辑优化，指标统一通过C++指标模块上报 修复 修复开启高精度时间戳开关后Golang模块误加载问题 1.8.5 发布时间：...
Q2:能获取或者查询采集的数据吗？Q3:ODPS是什么？Q4:什么是日志分析？Q5:授权到ODPS的SDK采集的数据字段有哪些？Q6:ODPS上如何使用我的数据？Q7.如果要加工APP的数据应该怎么操作？Q8:SDK采集的字段能否自定义？Q9:拿到SDK采集的数据后可以...
当下次执行SELECT语句时，会将上一次保存的CheckPoint带入到SELECT语句中，以此实现增量数据采集。重要 开启CheckPoint时，需要在SELECT语句中对CheckPoint字段进行排序，否则会造成数据重复或其他问题。功能 支持MySQL数据库的查询结果。...
logtailConfig:#设置采集的数据源类型。采集文本日志时，需设置为file。inputType:file#设置iLogtail采集配置的名称。configName:example-k8s-file inputDetail:#指定通过极简模式采集文本日志。logType:common_reg_log#设置日志文件所在...
阿里云 日志服务 SLS（Log Service）是针对日志数据的一站式服务，让您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。ACK Serverless集群 提供了日志服务托管功能。本文介绍如何在 ACK Serverless集群 中配置CRD并进行...
Profile白名单 选择要采集的性能数据类别。采集间隔 设置采集数据间隔时间，单位：秒。超时时间 设置采集数据超时时间，单位：秒。最大Body大小 设置采集数据的最大采集Body大小，单位：KB。静态实例数组 添加实例信息，包括如下配置：主机...
Q2:能获取或者查询采集的数据吗？能，在移动数据分析（Mobile Analytics）申请开通“日志分析”功能，就可以在ODPS查询采集到的数据，一方面可以做BI分析，另一方面可以ETL数据加工。Q3:ODPS是什么？大数据计算服务（Open Data Processing ...
cluster.db_type：PolarDB MySQL版 集群兼容的数据库类型，取值当前仅支持MySQL。cluster.db_version：数据库版本号，取值为8.0、5.7或5.6。tag.*：自定义标签的名称。请将星号（*）替换为您自定义的标签名。更多关于 PolarDB MySQL版 集群...
背景信息 阿里云日志服务SLS（Log Service）是针对日志数据的一站式服务，您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能。更多信息，请参见 日志服务简介。前提条件 已开通日志服务。登录 日志服务控制台 时，如果...
Logtail支持Docker和Containerd两种容器引擎的数据采集，访问路径说明如下：Docker：Logtail通过/run/docker.sock 访问Docker，请确保该路径存在且具备访问权限。Containerd：Logtail通过/run/containerd/containerd.sock 访问Containerd，...
Logtail支持Docker和Containerd两种容器引擎的数据采集，访问路径说明如下：Docker：Logtail通过/run/docker.sock 访问Docker，请确保该路径存在且具备访问权限。Containerd：Logtail通过/run/containerd/containerd.sock 访问Containerd，...
您可使用Telegraf采集NVIDIA GPU监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建NVIDIA GPU可视化监控方案。本文介绍如何通过日志服务来完成NVIDIA GPU监控数据的采集和可视化。前提条件 已创建Project和...
支持的数据集成内部类型 写入LogHub（SLS）时的数据类型 LONG STRING DOUBLE STRING STRING STRING DATE STRING BOOLEAN STRING BYTES STRING 实时读LogHub（SLS）时 会自带以下元数据字段。LogHub（SLS）实时同步字段 数据类型 说明_time_...
创建及管理标准集 标准模板 标准模板不定义标准，而是定义基于该模板创建的数据标准应该遵循的统一规范和约束，即定义标准属性。标准属性主要包括业务属性、技术属性、管理属性，可拓展主数据属性、数据质量属性、生命周期管理属性等。创建...
新建和管理标准集 标准模板 标准模板不定义标准，而是定义基于该模板创建的数据标准应该遵循的统一规范和约束，即定义标准属性。标准属性主要包括业务属性、技术属性、管理属性，可拓展主数据属性、数据质量属性、生命周期管理属性等。创建...
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。已新增MaxCompute数据源。详情请参见 创建MaxCompute数据源。...在该教程中，您将学习如何对采集的数据进行计算与分析。详情请参见 加工数据。
近实时增全量一体化架构 基于上述背景，MaxCompute推出近实时增全量一体化架构，支持丰富的数据源，并通过定制开发的接入工具实现增量和离线批量数据导入到统一的存储中，由后台数据管理服务自动优化编排数据存储结构，使用统一的计算引擎...
inputType:plugin#设置采集的数据源类型。configName:test-config#设置iLogtail采集配置的名称。inputDetail:#设置iLogtail采集配置的详细信息。执行如下命令创建 AliyunLogConfig 的CR，会根据该CR自动创建iLogtail采集配置，从而使...
SLS资源检查 可观测链路 OpenTelemetry 版 的数据存储在用户名下的SLS上，如果上报数据失败，有可能是SLS的Project已经达到数量限额。解决方案如下：释放没有用到的SLS Project资源。在SLS中提交工单提升Project限额。监控任务状态异常 ...
SLS资源检查 可观测链路 OpenTelemetry 版 的数据存储在用户名下的SLS上，如果上报数据失败，有可能是SLS的Project已经达到数量限额。解决方案如下：释放没有用到的SLS Project资源。在SLS中提交工单提升Project限额。监控任务状态异常 ...
如果业务容器的数据目录通过数据卷（Volume）挂载，则填写的文件路径 不能短于 挂载点路径。例如/var/log/service 目录是数据卷挂载的路径，则设置采集目录为/var/log 将无法采集该目录下的日志，因为采集目录比挂载路径短。必须设置采集...
您可使用Telegraf采集Kafka监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Kafka可视化监控方案。本文介绍如何通过日志服务来完成Kafka监控数据的采集和可视化。前提条件 已在服务器上安装Java 1.6或以上版本。已...
为防止加密规则因误操作被删除，导致数据泄露，可以使用 数据安全中心 DSC（Data Security Center）进行OSS数据活动监控，实时监测并记录OSS Bucket中加密规则的变动操作，并在检测到删除加密规则时触发警告，帮助组织及时发现和处理OSS...
FilePaths[string]是/["/var/log/*.log"]待采集的日志文件路径列表（目前仅限 1 个路径）。路径中支持使用*和*通配符，其中*通配符仅能出现一次且仅限用于文件名前。MaxDirSearchDepth uint 否 0 0 文件路径中*通配符匹配的最大目录深度。...
完成这些操作之后，Telegraf采集的数据便可以写入到TSDB For InfluxDB®中。启动Telegraf Ubuntu,Debian,RedHat,CentOS启动 sudo service telegraf start Ubuntu 15.04+,Debian 8+,CentOS 7+,RHEL 7+启动 sudo systemctl start telegraf ...
您可使用Telegraf采集Java应用或Tomcat的监控数据，再通过日志服务Logtail将Telegraf数据上传到MetricStore中，搭建Java应用或Tomcat可视化监控方案。本文以Java应用监控数据为例，介绍如何通过日志服务来完成Java应用数据的采集和可视化。...
文件路径类型 选择待采集的文件路径是容器内路径或宿主机路径。对于通过hostPath方式挂载数据卷的容器，如果您希望直接采集其在宿主机上映射的日志文件，请选择宿主机路径，其余情况请选择容器内路径。文件路径 如果目标容器节点是Linux...
文件路径类型 选择待采集的文件路径是容器内路径或宿主机路径。对于通过hostPath方式挂载数据卷的容器，如果您希望直接采集其在宿主机上映射的日志文件，请选择宿主机路径，其余情况请选择容器内路径。文件路径 如果目标容器节点是Linux...
背景信息 本示例中待采集的日志路径为/var/log/nginx/access.log。access.log 文件中的日志内容如下：127.0.*.1-[20/Mar/2023:12:00:01+0000]"GET/HTTP/1.1" 200 612 "-" "Mozilla/5.0 (Windows NT 10.0;Win64;x64)AppleWebKit/537.36...
2.本插件采集的数据、发送的服务器地址、以及数据用途说明：安卓 QuickTracking Android SDK通过采集唯一设备识别码（如Android ID、Serial（Android手机设备序列号）、IMEI、IMSI、OAID、GAID、Mac、MCC（移动国家编码）、MNC（移动网号）...
新增业务系统资产详情，支持按照来源 数据源 和归属 业务系统 两个视角查看采集到的数据源表详情。更新 查看资产清单 指标详情 逻辑表和字段详情 资产治理-数据安全-敏感数据识别/通用配置 一级数据分类目录支持设置管理员及其包含的分类的...
创建“数据转化协议”时，您可以选择已发布的“数据采集协议”，此时相关参数会自动填充；也可以不选择“数据采集协议”，手动选择相关参数。创建“数据转化协议”时，如下图所示，您可参考 匹配说明 进行字段匹配关系配置。协议市场 协议...
说明 目前OpenSearch对用户APP进行的数据统计指标包括：核心指标，流量指标，行为指标，成交指标，用户分析指标，Query分析指标，六个维度：核心指标 指标名 定义 计算公式 依赖 意义 搜索PV PageView：发送搜索请求且成功的次数（翻页也...
时序数据采集 进程时序数据 计算资源包括：CPU使用率。存储资源包括：IO吞吐、IOUtil、IOPS、存储空间使用量、存储空间使用率。服务时序数据 在服务级别根据进程的角色不同，对各类时序数据进行了采集。业务相关的时序数据主要包括：QPS、...