“QuickTracking管理后台-数据采集-埋点验证-PC应用验证”标识/sdkConfig.debugKey="97052112091876_xxxxx;设置本地缓存事件条数上限，默认值为10000条，超过部分删除处理/sdkConfig.maxCacheSize=10000;是否开启H5桥接事件监听，默认关闭/...
如何开启传输加速服务加速日志服务数据采集，请参考 采集加速。如果有重要日志需要实时监控，可以使用日志服务的内置告警监控规则，并可通过钉钉等渠道接收到告警通知，相关内容参考 使用内置的Logtail告警监控规则。您在使用Logtail采集...
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
高可用性 双副本：数据采集、处理和存储组件支持多副本横向扩展，保证核心数据链路高可用。水平扩展：基于集群规模可直接进行弹性扩容。数据重传：支持数据自动重传，彻底解决丢弃逻辑弊病，确保数据完整性与准确性。可观测监控 Prometheus...
安装Logtail Logtail组件是用于采集Kubernetes日志的Agent，支持多种日志类型及标准容器和Kubernetes集群的日志数据采集。步骤二：创建采集配置 根据采集需求选择文本日志或标准输出。采集文本日志 文本日志是由容器内的程序生成并保存到...
流量采集（Agent）RDS PolarDB 自建数据库（需要在资产中心开启）通过私网连接（PrivateLink）打通数据采集链路，并在访问数据库的应用服务器或数据库服务器中部署Agent，使用Agent将日志流量转发给 DSC 审计服务器完成日志采集。...
东南亚语种电商 多语言分词高级版（东南亚语种电商）累计50万次 20 1024个字符 命名实体识别 电商 命名实体识别高级版（电商）累计50万次 20 中文：1024个字符 多语言：500个字符 东南亚语种电商 命名实体识别高级版（东南亚语种电商）累计...
监控采集组件Monitor Agent支持标准的Prometheus Exporter协议，能够由Prometheus发起数据采集。可视化组件 除了 PolarDB PostgreSQL轻量版 PolarFlex 形态内部集成的 Grafana+Prometheus 外，还支持外部自建 Grafana。告警组件 支持 ...
服务类型 图像搜索服务主要提供 八 种业务场景，详情如下：商品图片搜索 应用于各类电商平台拍照购物、商品推荐等场景。通过输入商品图片，在商品库中准确找到同款或者相似商品。通用图片搜索 应用于图片版权保护，图片相似推荐等场景。...
服务类型 图像搜索服务主要提供 八 种业务场景，详情如下：商品图片搜索 应用于各类电商平台拍照购物、商品推荐等场景。通过输入商品图片，在商品库中准确找到同款或者相似商品。通用图片搜索 应用于图片版权保护，图片相似推荐等场景。...
但是随着业务发展、架构的升级、数据量的增长，伊对需要寻找更强大的数据采集、处理和分析平台来满足运营团队日益增长的数据分析需求，保持伊对高速的用户增长率。业务痛点 伊对面临的主要挑战如下：数据来源分散 客户使用不同的计算存储...
50万次/天 词向量 通用 50万次/天 通用文本向量 多语言 50万次/天 高级版 多语言分词（支持定制）通用、电商标题、电商内容、电商评价、文娱、O2O、东南亚语种电商、东南亚语种通用 累计50万次 命名实体识别（支持定制）电商、东南亚语种...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统，才能...
预训练模型是平台提供的预置模型，可直接通过API接口进行调用。2023年3月24日，NLP自学习平台-预训练模型按照行业类型进行分类升级，全面迁移至NLP自然语言处理，模型调用方式和接口由NLP自学习平台提供，API接口参考文档如下。服务调用 ...
`profiler.classpath.blacklist=org.apache,net.sf` 配置当cpu达到多少时暂停数据采集。`profiler.cpu.threshold=85` 系统信息收集间隔，默认15分钟。`profiler.sys.send.interval=15` sql动态信息收集间隔，默认15分钟。`profiler.sql....
重要 日志服务后续计划不再支持MySQL Binlog采集插件，当前已不支持新用户新建采集配置，原有的采集配置仍能正常使用，建议您使用DataWorks或Flink进行采集。具体操作，请参见 MySQL、MySQL数据源。原理 Logtail内部实现了MySQL Slave节点...
性能采集负责对实例进行实时性能数据采集，涉及数据库的多项性能指标信息、规格配置信息、实例运行会话信息等。决策中心模块则会根据当前性能数据、实例会话列表数据等信息进行全局判断，以基于根因的全局自治，例如可通过SQL限流来解决...
为了能够快速上手Quick Tracking，建议先了解和学习下采集SDK和流量分析产品的基本概念，这些基本概念会贯穿数据采集到数据分析的全流程。行为采集 在行为采集中，有如下四个基本概念需要了解：系统事件 系统事件是指由采集SDK发出，用来...
DataWorks为您提供了多个实验教程，帮助您从前期的环境准备、数据采集，到后期的数据开发、结果展示，端到端了解DataWorks使用的全流程，更加熟悉产品的核心功能。综合示例：用户画像分析 本教程通过一个实战案例——网站用户画像分析，全...
元数据支持丰富的采集源类型，如传统数据库MySQL、Oracle，大数据存储 Hive、Hologres、应用系统等，可一览不同数据源类型或应用系统已创建的采集任务数、采集对象类型等信息。前提条件 需先在 管理中心 数据源管理 应用系统 创建应用系统...
在使用LoongCollector进行数据采集时，可能会遇到采集异常问题。本文将介绍排查采集异常问题的流程，以及一些常见场景下的处理示例。采集异常问题排查指引 采集异常问题的成因复杂多样，且不同原因可能导致相同表象，甚至有时异常无法及时...
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
宕机时的处理 由于CheckPoint是定期保存，因此宕机恢复时将从上一个完整保存的CheckPoint开始恢复，可能导致数据采集重复。调整Checkpoint保存策略以减少数据被重复采集。Logtail采集配置 限制项 限制说明 配置更新生效的延时 从通过控制台...
应用评估用于衡量应用与数据库整体迁移改造的情况，可以展示应用需要改造的地方，并给出改造建议。前提条件 全部应用采集包都已创建应用画像。背景信息 迁移数据库和应用的过程中存在以下几个难点问题：难以估算应用改造的工作量。难以制定...
目前支持进行对象评估的数据库类型及版本如下：Oracle 数据库：11g/12c/18c/19c MySQL 数据库：5.6/5.7/8.0 DB2 LUW 数据库（仅支持采集文件上传评估）云数据库 RDS PolarDB MySQL 引擎 支持对 Oracle 和 MySQL 数据库的 DDL 语句进行兼容...
元数据清单以列表形式为您展示采集到的元数据信息，您可以从不同视角出发查询数据。本文为您介绍如何管理元数据清单。权限说明 超级管理员、系统管理员和具有 元数据清单-查看 权限的自定义全局角色支持管理元数据清单、查看元数据详情。...
元数据清单以列表形式为您展示采集到的元数据信息，您可以从不同视角出发查询数据。本文为您介绍如何管理元数据清单。权限说明 超级管理员、系统管理员和具有 元数据清单-查看 权限的自定义全局角色支持管理元数据清单、查看元数据详情。...
采集使用异步方式，不会阻塞任务主进程，当采集造成的压力过大时，会自动丢弃采集数据，并且您可以根据参数调整采集频率等。TPC-DS部分测试的数据如下表所示。SQL及使用引擎 使用EMR Doctor采集时间（10次平均）不使用EMR Doctor采集时间...
数据采集一般有两种方式，区别如下。本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较差 FTP、OSS上传、邮寄硬盘、SQL 数据导出 流式导入 实时，所见即所得，面向...
您可以自行采集数据库对象定义，也可以下载迁移评估采集器完成数据库对象的采集。本文为您介绍如何通过迁移评估采集器采集数据库对象。背景信息 迁移评估采集器是用于在公有云环境采集用户 Schema 数据的工具。您在公有云环境下不可以使用...
适用于各引擎 数据建模 零售电商数据建模 DataWorks智能数据建模产品内置了零售电子商务数据仓库行业模型模板，您可以一键导入模板，本教程结合零售电子商务业务背景以及模型构建核心步骤来帮助您了解维度建模理论和智能数据建模产品。...
分类 文档链接 基本概念说明 Logtail基本问题 日志采集Agent对比 心跳问题 Logtail机器组问题排查思路（主机场景）采集问题 通用场景 查询本地采集状态 如何查看Logtail采集错误信息 Logtail采集日志失败的排查思路 日志服务采集数据常见的...
功能对比 对比项 数据安全中心（云原生数据审计）传统型数据审计 数审C100 数审D100 产品性能 覆盖度 支持11款云原生数据库类型+38种自建数据库 支持5款云产品+43种自建数据库 支持5款云产品+35种自建数据库 审计规则 支持1000+条 支持900+...
集群上的应用、容器以及基础架构组件都会持续产生大量分散的日志数据，使得日志的采集和管理较为复杂。ACK集群与阿里云日志服务SLS集成，提供解决方案简化日志管理流程。说明 如需了解SLS的功能以及基本术语，请参见 什么是日志服务、术语...
本文为您介绍DataWorks中，数据集成、数据建模、数据开发、数据分析、数据服务等模块开发过程中涉及的相关基本概念。通用概念 工作空间 工作空间 是DataWorks管理任务、成员，分配角色和权限的基本单元。工作空间管理员可以为工作空间加入...
Alibaba Dubbo 2.5.10~2.6.12 采集Dubbo相关RED指标以及Span Apache Dubbo 2.7.0+...采集数据库调用相关指标以及Span PostgreSQL 42.0.0+采集数据库调用相关指标以及Span SQL Server 6.2.0.jre7+采集数据库调用相关指标以及Span MariaDB 1.5.2...
本文介绍了统计信息采集的三种策略和采集建议。SQL查询执行计划的好坏对数据库性能有重要的影响，为了给优化器CBO提供准确的统计信息用于生成更优的执行计划，PolarDB-X 会在后台发起统计信息采集任务。统计信息采集说明 PolarDB-X 包括...
自治服务的空间管理功能通过提供分层监控与分析，帮助用户从实例层面深入到数据库，再从数据库深入到表，全面查看实例基本信息、空间总览、空间数据图表信息及空间变化趋势，帮助您从多个维度发现和定位数据库空间相关问题和异常。...
数据安全法报表 从敏感数据态势、安全审查趋势、敏感数据保护和数据风险评估维度针对您的数据库资产制定关于《数据安全法》的符合性报告，可以帮助管理人员、数据安全负责人、数据安全管理员掌握数据整体情况和增长趋势，及时发现各种异常...
数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能，可以分层监控与分析，从实例深入到数据库，再从数据库深入到表，帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...