将原始字段名作为展开字段名前缀 选中该选项后，系统会将原始字段名作为所有JSON展开字段名的前缀。解析失败保留原始日志 选中该选项后，如果解析日志失败，系统将保留原始日志。配置示例 对 s_key 字段进行JSON展开，并使用 j 和原始字段...
Graph Database数据源为您提供读取和写入Graph Database双向通道的功能，本文为您介绍DataWorks的Graph Database数据同步的能力支持情况。使用限制 离线读 离线写 导出GDB需要配置点任务和边任务，分别导出点数据和边数据。导出任务根据点...
plugins Object 字段数据处理插件 plugins.*Object 插件详情，具体说明查看下文 Plugin*：字段名 keyField String 主键 parameters Object 数据源信息不同数据源的配置信息各不相同，具体说明查看相关下文：rds-odps-opensearch-polardb ...
本地文件输入组件支持将本地Text、Excel（xls、xlsx）、CSV格式的文件上传到Dataphin中，并支持将数据同步至其他数据源的场景中。本文为您介绍如何配置本地文件输入组件。使用限制 仅支持手动任务配置本地文件输入组件。操作步骤 请参见 离...
plugins Object 字段数据处理插件 plugins.*Object 插件详情，具体说明查看下文 Plugin*：字段名 keyField String 主键 parameters Object 数据源信息不同数据源的配置信息各不相同，具体说明查看相关下文：rds-odps-opensearch-polardb ...
主键（PRIMAEY KEY）约束下字段长度的修改 如果 主键 列中包含下表中的字段类型，通过 ALTER TABLE table_name MODIFY DDL 对该列进行字段长度的修改操作，Oracle 数据库和 OceanBase 数据库 Oracle 租户的区别如下。Oracle 数据库的字段...
说明 支持的变量解释：DATASOURCE_NAME_SRC：源端数据源名称 DB_NAME_SRC：源端数据库名称 TABLE_NAME_SRC：源表名称 DATASOURCE_NAME_DEST：目标端数据源名称 DB_NAME_DEST：目标端数据库名称 TABLE_NAME_DEST：目标表名称 DB_NAME_SRC_...
字段名 必填 需要应用当前规则的字段名称。支持同时输多个字段名称，多个名称间用英文逗号（,）分隔。单击 确定。启用或禁用规则 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航栏，选择 ...
字段名 必填 需要应用当前规则的字段名称。支持同时输多个字段名称，多个名称间用英文逗号（,）分隔。单击 确定。启用或禁用规则 登录 PolarDB控制台。在控制台左上角，选择集群所在地域。找到目标集群，单击集群ID。在左侧导航栏，选择 ...
本文为您介绍 MySQL 数据库和 OceanBase 数据库 MySQL 租户对于删除不同约束下字段的不兼容场景。说明 本文表格中，对比类型空白表示相应约束下不支持该类型。删除主键（PRIMARY KEY）约束下的列 如果删除的 主键列 中包含下表中的字段类型...
数据输入、合并、清洗加工、聚合和关联节点支持数据探查。本文为您介绍数据探查的操作。入口 您可以通过图示的方式进入数据探查界面。说明 合并、清洗加工、聚合和关联节点进入 数据探查 的方式同上。预览设置 数据探查支持快速采样、随机...
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
填写校验规则逻辑表达式，可以使用表格函数和引用填报字段（格式“[填报字段名]”），比如[订单金额]-[成本]>0，并填写报错文案。点击 添加 新增校验规则，点击 删除该校验规则。填报区域管理 在电子表中点击右上角数据填报中的 填报区域...
本文为您介绍GDB Reader支持的数据类型、字段映射和数据源等参数及配置示例。说明 GDB Reader仅支持使用 独享数据集成资源组 和 自定义资源组。开始配置GDB Reader插件前，请首先配置好数据源，详情请参见 配置Graph Database数据源。由于...
同步其他数据源的数据至HBase数据源的场景中，完成源数据的信息配置后，需要配置HBase输出组件的目标数据源。本文为您介绍如何配置HBase输出组件。操作步骤 请参见 离线管道组件开发入口，进入离线单条管道脚本的开发页面。按照以下操作...
其他 性能 工具会采集被调研服务器的性能信息，重点举例为如下字段：字段名 字段含义%CPU CPU利用率%MEM 内存利用率 DISK_IOPS 磁盘读写频率 DISK_KBPS 磁盘读写字节速率 NET_KBPS 网络收发数据速率.其他 进程 工具会采集被调研服务器系统...
MongoDB输出组件可以将外部数据库中读取的数据写入到MongoDB，或从大数据平台对接的存储系统中将数据复制推送至MongoDB，进行数据整合和再加工。本文为您介绍如何配置MongoDB输出组件。前提条件 已创建MongoDB数据源。具体操作，请参见 ...
JSON字段 值 目标字段名 name zhangle name age 18 age device.os {"test":lag,"member":{"fa":zhangsan,"mo":limei }} device_os device.brand none device_brand device.version 11.4.2 device_version 3层解析 JSON字段 值 目标字段名 ...
API输出组件可以将外部数据库中读取的数据写入到API，或从大数据平台对接的存储系统中将数据复制推送至API，进行数据整合和再加工。本文为您介绍如何配置API输出组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建API数据源...
字段信息 字段信息显示数据表在所选存储数据库下的字段及信息，具体包括字段名、数据类型、字段描述、分区字段、数据质量以及告警信息。鼠标点击或移动至告警信息处，可显示该字段的所有规则。如下图所示，其中告警规则会以红色高亮显示。...
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
配置OSS输出组件，可以将外部数据库中读取的数据写入到OSS，或从大数据平台对接的存储系统中将数据复制推送至OSS，进行数据整合和再加工。本文为您介绍如何配置OSS输出组件。前提条件 已创建OSS数据源。具体操作，请参见 创建OSS数据源。...
{"name":"@leaf/pie-multi-radius-with-title",/命名空间/组件名（命名空间即组件包名，必须添加，否则无法发布）。version":"0.1.5",/版本号。dependencies":{/依赖,不包括datav:/com/依赖。bcore":"0.0.9","jquery":"2.1.4",/所有依赖...
字段名：输入数据字段的英文名称，字段名称必须为英文字符，作为参数传递时的key值。中文名：输入字段的中文名，中文名必须控制在10字以内，用于解释字段的含义。说明：输入字段的详细描述说明，字数需要控制在25字以内。类型：选择字段的...
命名规则如下：只能包含汉字、字母、下划线（_）、数字。不能超过64个字符。输入字段 根据上游的输出，为您展示输入字段。输出字段 为您展示输出字段，支持以下管理操作。新建字段：您可以手动添加输出字段。操作步骤如下：单击 新建字段。...
字段名：输入数据字段的英文名称，字段名称必须为英文字符，作为参数传递时的key值。中文名：输入字段的中文名，中文名必须控制在10字以内，用于解释字段的含义。说明：输入字段的详细描述说明，字数需要控制在25字以内。类型：选择字段的...
规格 工具将会采集目标服务器的/proc 文件系统中的规格信息，重点举例为如下字段：字段名 字段含义 CPU CPU型号和数量 Load 任务负载情况 Memory 内存大小和使用情况 Disk 各个磁盘大小.其他 性能 工具将会采集目标服务器的/proc 文件系统...
规格 工具将会采集目标服务器的/proc 文件系统中的规格信息，重点举例为如下字段：字段名 字段含义 CPU CPU型号和数量 Load 任务负载情况 Memory 内存大小和使用情况 Disk 各个磁盘大小.其他 性能 工具将会采集目标服务器的/proc 文件系统...
质量规则模板常用于抽象质量规则配置中逻辑一致或相似的逻辑，可以提升后续配置质量监控规则的效率。Dataphin内置支持20+质量规则模板，并支持通过自定义SQL的方式灵活拓展，以满足企业的质量监控诉求。本文为您介绍如何新建质量规则模板。...
说明 字段名或表名必须以字母开头，支持字母、数字、下划线（_），最大长度为40个字符。④描述信息：自定义控件的描述信息。⑤描述信息位置：设置描述信息的位置。可选项包括 控件底部、标题右侧、标题下方。⑥默认状态：设置控件的默认...
授权查询数据库中的视图 grant select on<数据库名>.<视图名>to<用户名>;示例 授权用户test01查询数据库rds001的视图view_test1。grant select on rds001.view_test1 to test01;授权更新或查询表中的字段 grant update(<字段名>)on table...
质量规则模板常用于抽象质量规则配置中逻辑一致或相似的逻辑，可以提升后续配置质量监控规则的效率。Dataphin内置支持20+质量规则模板，并支持通过自定义SQL的方式灵活拓展，以满足企业的质量监控诉求。本文为您介绍如何新建质量规则模板。...
11 规则生效的字段 规则项>字段 规则定义>条件设置 区域，选择条件 选择 数据位置 时，所配置的 字段名。12 用于配置哪些用户访问时会触发该规则。规则项>访问人员 规则定义>条件设置 区域，选择条件 选择 用户信息 时，所选择的 信息类别...
数据模型是在数据库创建及编排的一系列的数据表，是驱动应用开发的基础，继而生成DDL语句，创建数据库表。本文为您介绍如何创建、编辑及删除数据模型。前提条件 当前账号拥有项目权限。已完成限界上下文的创建。具体操作，请参见 创建与...
同步其他数据源的数据至HDFS数据源的场景中，完成源数据的信息配置后，需要配置HDFS输出组件的目标数据源。本文为您介绍如何配置HDFS输出组件。前提条件 已创建HDFS数据源，如何创建，请参见 创建HDFS数据源。进行HDFS输入组件属性配置的...
其他 性能 工具会采集被调研服务器的性能信息，重点举例为如下字段：字段名 字段含义%CPU CPU使用率%MEM 内存使用率 DISK_IOPS 磁盘读写频率 DISK_KBPS 磁盘读写字节速率 NET_KBPS 网络收发数据速率.其他 进程 工具会采集被调研服务器系统...
'GetLogs'-保留method status:'200' 场景2：新产生数据字段冲突：为了避免歧义，对于SPL指令中产生的明确的新字段名，此类指令包括 extend 的字段名和 parse-regexp、parse-csv 中 as 明确指定的字段名，SPL的输出结果仍会保持新字段名大...
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...
本文为您介绍数据模型架构规范。声明 本文以及后续章节中介绍的非功能性规范均为建议性规范，产品功能上并未强行限制，仅供指导。数据层次的划分 ODS：Operational Data Store，操作数据层，在结构上其与源系统的增量或者全量数据基本保持...
配置Amazon S3输出组件，可以将外部数据库中读取的数据写入到Amazon S3，或从大数据平台对接的存储系统中将数据复制推送至Amazon S3，进行数据整合和再加工。本文为您介绍如何配置Amazon S3输出组件。前提条件 已创建Amazon S3数据源。具体...