AnalyticDB的智能分析系统对采集的数据进行了多种分析，从而洞察实例运行状态。实例查询行为画像分析 对单独实例的查询行为进行了统计分析，主要统计指标包括：用户在某段时间内的查询次数；用户查询是否包含join、agg或者sort等；用户第一...
数据地图是在元数据基础上提供的企业数据目录管理模块，涵盖全局数据检索、元数据详情查看、数据预览、数据血缘和数据类目管理等功能。数据地图可以帮助您更好地查找、理解和使用数据。版本限制 仅DataWorks标准版及以上版本支持代码搜索、...
Telegraf是InfluxData开发的数据采集器，支持众多的...适用场景如下：当您的采集目标是云服务时，您无法部署Logtail和Telegraf，则可使用远程采集。当您不希望在正在运行某些服务的机器上部署额外采集器时，可使用远程采集实现无侵入式监控。
本文介绍了修改性能监控频率的操作步骤。操作步骤 登录 PolarDB控制台，在左侧导航栏单击 集群列表，选择集群所在 地域，并单击目标集群ID进入集群详情页。...相关API API 描述 ModifyDBClusterMonitor 修改 PolarDB 集群监控数据的采集频率。
在数据准备阶段，您需要同步原始数据至MaxCompute。前提条件 已完成 准备环境。...后续步骤 现在，您已经学习了如何通过数据同步采集数据，您可以继续下一个教程。在该教程中，您将学习如何对采集的数据进行计算与分析。详情请参见 加工数据。
Logstash是一种灵活的工具，可用于读取、转换和采集数据，提供了大量的过滤器、输入和输出插件。如果Beats的功能对于某些用例来说还不够，那么一种常见的架构模式是使用Beats来收集数据，并通过Logstash做进一步处理，然后再采集到...
术语 宽表引擎 时序引擎 说明 DATABASE 〇 〇 Database（数据库）是一个结构化的、用于存储和管理相关数据的集合。TABLE 〇 〇 Table（表）是一种结构化的数据对象，用于存储和组织相关的数据记录。构建表时需要定义表的Schema结构，包括表...
当DataWorks功能模块（如数据集成、数据服务、元数据采集、数据分析等）需要访问您的数据源时，部分数据源会通过白名单机制限制访问来源。为确保各功能模块的正常运行，您需要将对应模块的出口IP地址或网段加入数据源的白名单。背景信息 ...
在数据模型设计之前，您需要首先完成技术架构...其中，DataWorks的数据集成负责完成数据的采集和基本的ETL。MaxCompute作为整个大数据开发过程中的离线计算引擎。DataWorks则包括数据开发、数据质量、数据安全、数据管理等在内的一系列功能。
应用系统可作为元数据采集的数据来源。本文为您介绍如何创建及管理应用系统。使用限制 支持创建不超过100个应用系统。...后续步骤 您可以在创建采集任务时，选择应用系统作为数据的来源，配置详情请参见 创建及管理元数据采集任务。
高级配置示例 配置数据集时，您可以设置高级配置，通过JSON格式自定义相关参数：在 为节点配置数据集 时，可以设置高级配置，通过JSON格式指定读写OSS数据的工具和参数，或指定读写NAS文件系统的相关配置。在 为个人开发环境配置数据集 时...
在LoongCollector采集数据场景，常见的Quota报错有两种：WriteQuotaExceed：说明该Project在一定时间内，写入的数据总量或写入的次数过大，导致超过Quota限制的请求失败了。该报错发生并不一定是单个采集配置导致，而是多个采集配置、多个...
新增 迁移实验室中新增周期性采集数据库中SQL的工具。2021年7月20日 SQL周期性采集 新增预检查项。迭代 结构迁移的预检查中，新增了3个检查项。2021年5月24日 预检查 新增支持源库Teradata和DB2_LUW的迁移。迭代 ADAM支持迁移的源库增加到...
本文档主要讨论通过LogHub流式导入（实时）采集数据。方式 优势 劣势 例子 批量导入 吞吐率大，面向历史存量数据 实时性较差 FTP、OSS上传、邮寄硬盘、SQL 数据导出 流式导入 实时，所见即所得，面向实时数据 收集端要求高 LogHub、HTTP...
tag_:_hostname_STRING Logtail采集数据的来源机器主机名，Logtail会自动为日志追加该字段。创建数据源 在进行数据同步任务开发时，您需要在DataWorks上创建一个对应的数据源，操作流程请参见 数据源管理，详细的配置参数解释可在配置界面...
Flink SQL任务读取到的数据的变更类型默认为 INSERT 类型，如果需要处理成 ChangeLog 数据，您需要自行处理（按主键聚合或按更新时间排序取最新一条数据），这种情况下如果更新主键，数据可能会出错，请谨慎操作。不支持采集 Delete 的数据...
Flink SQL任务读取到的数据的变更类型默认为 INSERT 类型，如果需要处理成 ChangeLog 数据，您需要自行处理（按主键聚合或按更新时间排序取最新一条数据），这种情况下如果更新主键，数据可能会出错，请谨慎操作。不支持采集 Delete 的数据...
业务背景 在碳中和、碳达峰这样的大背景下，国家大力支持新能源汽车的推广使用，但同时监管部门也提出了相应的要求，需要实时存储车辆状态数据，进行故障告警及数据的实时查看。为了能及时响应车辆告警信息，排查车辆故障，需要实时能下载...
应用场景 公网数据采集包含移动端、外部服务器、网页和设备数据的采集，采集完成后需要进行实时计算、数据仓库等数据应用。方案1：前端服务器+Kafka 由于Kafka不提供RESTful协议，更多是在集群内使用，因此一般需要Nginx服务器做公网代理，...
降采样（Downsample）查询时间区间跨度较长，且原始数据采样频率较高时，可通过降采样降低数据的查询展现精度，例如按秒采集的数据，查询时按小时级别采样，减少结果集的数据点数。插值（Interpolation）时间线中间缺失部分数据点时，可...
后续步骤 您可以在创建采集任务时，选择应用系统作为数据的来源，配置详情请参见 创建及管理元数据采集任务。若开启用于资产消费，您可以在对应渠道下开启消费渠道并创建分析任务，消费渠道开启请参见 消费渠道管理，创建分析任务详情请...
rhost-v 采集上报域名（Deprecated）在平台的采集信息中可以获取 all trackDomain 采集上报域名 在平台的采集信息中可以获取 v2.0.0开始_dev_id 自定义设备ID 该方式将覆盖掉QuickTracking SDK自动生成的设备ID all_user_id 设置userid ...
新增数据服务功能模块，包括市场与调用、服务开发、服务运维、服务管理功能，数据服务是基于Dataphin建设数据中台的最后一步，作为统一的数据服务出口，实现了数据的统一市场化管理，有效地降低数据开放门槛，并保障了数据开放的安全。...
创建TDSQL for MySQL数据源 创建MySQL数据源 创建Microsoft SQL Server数据源 创建PostgreSQL数据源 创建Oracle数据源 创建AnalyticDB for MySQL 2.0数据源 创建AnalyticDB for MySQL 3.0数据源 创建AnalyticDB for PostgreSQL数据源 创建...
说明 上述各监控项的数据采集周期均为1分钟。最多支持查看7天内的监控数据。操作步骤 登录 PolarDB分布式版控制台。在页面左上角选择目标实例所在地域。在 实例列表 页，找到目标实例并单击实例ID。在左侧导航栏中，单击 监控与报警 数据库...
离线集成任务支持自动解析的字段血缘为元数据中心支持采集的数据源类型的表，支持的数据源请参见 元数据采集概览。使用Schema选择表的输入组件，若该组件关联的数据源Schema更新，需重新提交集成任务才能自动更新血缘。若您使用了MySQL ...
Telegraf-数据的搬运工 Telegraf是一个用Go语言编写的代理程序，可采集系统和服务的统计数据，并写入TSDB For InfluxDB®数据库。Telegraf具有内存占用小的特点，通过插件系统开发人员可轻松添加支持其他服务的扩展。Telegraf安装 完成后，...
注意事项 数据采集功能会在实例应用创建完成后自动开通 数据，目前主要指终端用户对搜索结果的行为反馈数据 采集，目前主要指通过开放搜索SDK上报搜索行为数据（Server端），App端、Web暂不支持，敬请期待 数据采集2.0相较于老的数据采集...
使用场景：日志服务限制了LoongCollector的采集性能，以防消耗过多服务器资源，影响其他服务运行。当LoongCollector采集性能不满足要求时，可通过修改启动参数进行尝试。文件示例：{"primary_region":"cn-beijing",/默认地域，可忽略...
创建及管理元数据采集任务 不同类型的采集源支持的操作 附录：元数据版本及属性说明 采样配置 数据质量 新增支持自定义SQL类型模板创建的质量规则的批量导入导出。批量导入质量规则 批量导出质量规则 目录管理 新增资产标签功能，可统一纳...
}/自定义加密-(NSData*)customEncode:(NSData*)data key:(NSString*)key {/自定义加密实现 }/自定义解密-(NSData*)customDecode:(NSData*)data key:(NSString*)key {/自定义解密实现 } 6 数据采集开关 SDK默认开启数据采集能力，您也可以...
}/.} } 7 数据采集开关 SDK默认开启数据采集能力，您也可以通过开启/关闭的 API控制数据采集的时机。（1.6.1.PX 及以上版本支持）7.1 开启采集能力 enableSDK 示例：QtTrackAgent.enableSDK();7.2 关闭采集能力 disableSDK 示例：...
本插件采集的数据、发送的服务器地址、以及数据用途说明：安卓 QuickTracking Android SDK通过采集唯一设备识别码（如Android ID、Serial（Android手机设备序列号）、IMEI、IMSI、OAID、GAID、Mac、MCC（移动国家编码）、MNC（移动网号））...
创建用于存储数据的事实表 dwd_github_events_odps，其DDL如下：CREATE TABLE IF NOT EXISTS dwd_github_events_odps(id BIGINT COMMENT '事件ID',actor_id BIGINT COMMENT '事件发起人ID',actor_login STRING COMMENT '事件发起人登录名',...
说明 如果数据源是PolarDB-X 1.0或DMS LogicDB，消费订阅数据的操作步骤，请参见 使用SDK消费PolarDB-X 1.0订阅数据。本操作为Java语言的SDK客户端示例，Python和Go语言的示例代码，请参见 dts-subscribe-demo。前提条件 已创建订阅实例，...
ASM实例版本为1.17.2.35以下 具体操作，请参见 使用日志服务采集数据平面的AccessLog。ASM实例版本为1.17.2.35及以上 登录 ASM控制台，在左侧导航栏，选择 服务网格 网格管理。在 网格管理 页面，单击目标实例名称，然后在左侧导航栏，选择...
常用参数调优 同步HDFS Audit日志至HDFS 常见问题 Sqoop Sqoop是一个用于在Hadoop和关系型数据库之间高效传输数据的工具，支持大规模数据导入和导出操作。Sqoop使用说明 Sqoop常见问题 Kafka Kafka仅对存量用户开放。Kafka是一个开源的分布...
除此之外，云原生数据仓库AnalyticDB PostgreSQL版 对JDBC，ODBC，libpq等标准接口提供了完善的支持，用户也可以自行对接更多符合接口标准的工具和应用。云原生数据仓库AnalyticDB PostgreSQL版 内置了数据挖掘引擎MADlib及空间数据引擎...
参数 说明 渠道名称 输入采集数据的渠道名称。是否Quick Tracking采集 选择 是。请勿选择 否，非Quick Tracking采集无需配置此接口。应用类型 选择 APP、小程序 或 WEB。平台类型配置 对于APP和小程序，选择相应的平台类型，例如：安卓、...
兼容的数据同步工具 数据同步工具 兼容版本 说明 MySQL Slave=5.4.11 目前不支持GTID模式复制 canal=5.4.11 无 DTS=5.4.11 具体操作步骤请参见 同步方案概览。debezium=5.4.12 不支持快照能力，使用时需要关闭快照"snapshot.mode":"never...