通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您...
通过离线集成管道质量监控，Dataphin会自动为您监控数据表的质量，如果数据表有质量风险，系统会自动报警，通知告警接收人，帮助您及时了解数据表质量状况。本文为您...
概述本文描述了Dataphin管道任务如何同步逻辑表数据。详细信息管道任务的输入组件中，有LogicalTable输入组件可以同步逻辑表数据。逻辑表类型包括事实逻辑表、维度逻辑...
概述Dataphin中管道任务ClickHouse脚本JSON脚本。详细信息ClickHouse输入组件，同步配置文件如下：{"tables":["table_name"],"stepType":"clickhouse","parameter":{"fetchSize":1024},...
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息依赖关系是两个或多个节点之间的...
问题描述Dataphin管道任务中无法选择物理表。问题原因这张表是外部表，存储在OSS中。解决方案数据集成中无法选择外部表。适用于Dataphin
调度配置用于定义周期性调度类型的离线管道任务在调度过程中的调度规则。本文为您介绍如何配置周期性离线管道调度配置。背景信息依赖关系是两个或多个节点之间的...
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。...
问题描述用户使用MongoDB输出组建的时候，更新信息缺少详细描述说明。解决方案replaceKey：约束键、主键。isReplace：是否替换数据，默认关闭，开启之后...适用于Dataphin管道任务
问题描述Logstash创建/部署管道卡住可能原因1.配置有误scheduler表达式格式配置有误。使用file_extend插件开启配置调试，实际上集群都没有安装这个插件。2.网络异常，提示：...
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数...
您可以在离线集成管道编辑器属性对话框中查看离线集成任务的基本详细和进行调度配置，包括集成任务的名称、节点ID、节点类型，并配置对应责任人、描述等基本信息。...
运行参数配置是对离线管道中所用的变量进行赋值，从而支持节点调度时，参数变量可以自动被替换为相应的变量值。本文为您介绍如何配置离线管道的运行参数。参数...
问题描述Dataphin管道任务如何配置多个静态分区？解决方案多个静态分区需要使用逗号隔开。适用于Dataphin数据仓库静态分区
问题描述Dataphin管道任务是否支持同步视图表数据？解决方案目前Dataphin仅Hologres，ODPS，Hadoop非关系型数据库，不支持同步视图表数据；其他数据库都支持同步视图表数据，...
问题描述Dataphin管道任务表分区配置当天时间的方法。解决方案需要在调度配置页面配置“参数配置”，并且表分区中使用配置的变量，在运维环境中执行。适用于Dataphin版本...
本文为您介绍周期离线管道调度依赖配置说明。操作步骤请参见，进入离线集成任务属性面板。在调度依赖区域，配置集成任务调度依赖参数。上游依赖自动解析集成任务上游...
单击确定，完成离线集成管道任务资源配置。后续步骤完成任务资源配置后，下一步您可单击提交，提交任务至发布中心或运维中心。如果您的开发模式是Dev-Prod模式，则需要...
问题描述在Dataphin中管道任务无法获取SAP HANA的表，在管道任务中没有任何表。在管理工具中相同账号可以看到有表：问题原因JDBC配置有误导致该问题，JDBC中缺少...
问题描述Dataphin离线管道任务运行报错：类型转换错误{"message":"类型转换错误,无法将[1\u 000130\u 00010.0\u 000123400\u 00012022-01-12 15:10:49.701]转换为[LONG]","record...
问题描述Dataphin管道任务配置页面可以显示表字段，数据库连接测试也正常，但是执行该管道任务报错“ERROR DBUtil-get connection error...解决方案如果Dataphin有项目沙箱白名单，...
概述本文主要介绍Dataphin管道任务输入组件是否能配置逻辑表。详细信息管道任务可以配置逻辑表。在组件库中选择LogicalTable组件。适用于Dataphin
问题描述Dataphin管道任务很长时间日志都显示速度为0。如下图：问题原因网络资源或者计算资源紧张导致。解决方案优化自动任务调度时间，尽量和人工使用平台时间相对错开...
问题描述用户同步csv文件数据到中台，发现数据乱码。问题原因csv编码格式和中台数据库编码格式不一样。解决方案对齐两边编码格式即可。适用于Dataphin管道任务
问题描述Dataphin管道任务是否支持数据数仓的动态分区。问题原因静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置...
本文为您介绍周期离线管道调度依赖配置说明。操作步骤请参见离线集成任务属性入口，进入离线集成任务属性面板。在调度依赖区域，配置集成任务调度依赖参数。上游依赖...
更新管道。接口说明本接口可以修改指定管道的名称、状态及通知设定。暂停管道后，如果工作流或其他单任务（如视频审核、视频DNA等）中选择使用状态为已暂停的管道，会...
问题描述Dataphin中管道任务从CSV文件读取数据显示乱码。问题原因CSV文件编码的问题。解决方案将CSV文件转化为UTF-8格式，本地CSV输入配置文件编码选择UTF-8。适用于...
问题描述Dataphin管道任务中OSS输出组件的Object前缀如何使用日期达到每天变化的场景。解决方案可以使用参数${bizdate},如下所示：适用于Dataphin管道任务
概述本文描述了Dataphin管道任务中预览数据发现过滤条件未生效的处理方法。详细信息管道任务配置过滤条件后，执行预览，发现数据依然是全量数据。解决办法：点击到过滤...
产品名称Dataphin产品模块数据集成概述本文描述管道任务中从本地CSV文件读取汉字乱码的原因及应对方法。问题描述数据集成CSV(UTF-8)文件导入HIVE，预览时中文出现乱码...
调用ListPipelineIds，设置Kibana管道管理时，测试Logstash与Kibana连通性，并获取目标Kibana上创建的管道ID列表。说明管道管理方式分为配置文件管理和Kibana管道管理，部分...
问题描述Dataphin集成管道任务报错：“ERROR DlinkTaskPluginCollector-脏数据”。集成任务输入源为Hive，输出源为ElasticSearch。问题原因ElasticSearch的这个index下之前有数据...
问题描述Dataphin管道任务使用脚本输入组件提示系统内部错误，查看日志为空指针错误。问题原因配置文件JSON中直接删除了必填项导致。解决方案当参数中没有相关设置...
问题描述Dataphin管道任务同步SQL Server数据，但是SQL Server字段包含关键字导致同步总是报错，列不存在。解决方案在本例中，需要使用脚本模式。具体写发如下，parameter中...
概述Dataphin中管道任务中输入配置数据库切分键设置方法。详细信息管道任务中输入配置数据库切分键，配合并发度配置使用。可以将源数据表中某一列作为切分键，建议...
问题描述Dataphin管道任务如何同步HBase源表全部字段数据。解决方案在管道任务中直接使用HBase输入组件只能同步主键字段数据或普通字段数据，如果需要同步HBase表全部...
概述本文主要解决Dataphin管道任务如何将不同的字段名称进行关联。详细信息如下图，在输出组件的属性配置中将输入的DTR字段和输出的we字段进行映射，先鼠标点击输入...
概述描述管道任务中需要同步大量数据时内存设置上限的方法。用户通过管道任务要将大量的文件进行同步，这个内存要如何调整？详细信息在管道任务的通道配置中，JVM...
问题描述Dataphin管道任务运行失败，提示“分区配置错误”。问题原因输入配置中分区配置异常，写成了ds=20220125。解决方案分区配置需填写具体分区，如需导入多分区，建议分...