混合云存储阵列通过专门的高速通道与阿里云OSS相连，...自动云数据分层模式，把客户的数据按照访问频度自动分类，经常访问的热数据保存在本地的SSD或者SAS盘上，保证热数据的快速访问，偶尔访问的冷数据自动存放到云端，不占用本地存储空间。
概述 数据集成中新建自定义组件中ClickHouse是否属于RDBMS数据源？详细信息 自定义组件中RDBMS数据源是指支持JDBC协议的数据源，只要提供JDBC URL、用户名和密码就能连接的数据库。ClickHouse是一个分布式面向列的RDBMS系统，可以支持单机...
问题描述 Dataphin数据集成同步数据至Oracle时preSql超时。Oracle数据库侧检查SQL已经执行完成，最后手动终止同步任务。2022-11-08 21:17:15.816[job-0]INFO JobContainer-DataX Reader.Job[odpsreader]do prepare work.2022-11-08 21:17:...
问题描述 试跑数据集成中的数据同步时候发现试跑报错，内存溢出。问题原因 由于通道配置引起的报错。解决方案 调整通道配置参数 适用于 Dataphin
本文为您介绍通过DataWorks的数据集成功能，从RDS MySQL导入数据至图数据库GDB。前提条件 已创建RDS MySQL实例，创建方法请参见 创建RDS MySQL实例。已创建图数据库GDB实例，创建方法请参见 创建实例。已完成独享资源组配置，配置方法请...
创建数据集成报警规则。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂...
更新数据集成新版任务告警规则，当前支持的任务类型包括：MySQL到Hologres整库实时解决方案。接口说明 当您的任务同步类型中包含实时同步时，支持设置告警规则。告警规则更新为全字段更新，不支持部分字段更新。调试 您可以在OpenAPI ...
更新数据集成报警规则。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂...
创建数据集成新版任务告警规则，当前支持的任务类型包括：MySQL到Hologres整库实时解决方案。接口说明 当您的任务同步类型中包含实时同步时，支持设置告警规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
查询数据集成新版任务告警规则，当前支持的任务类型包括：MySQL到Hologres整库实时解决方案。接口说明 当您的任务同步类型中包含实时同步时，支持设置告警规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
查询数据集成新版任务告警规则列表，当前支持的任务类型包括：MySQL到Hologres整库实时解决方案。接口说明 当您的任务同步类型中包含实时同步时，支持设置告警规则。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰...
查看数据集成报警规则。接口说明 需要购买 DataWorks 基础版及以上版本才能使用。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前API暂...
问题描述 已经将数据源的读权限申请成功，但是在数据集成中选择该数据源，仍提示“无读权限，请申请”。解决方案 需要将该数据源其他未审批的权限申请都审批完成，才能在集成任务中正常使用。适用于 Dataphin-数据集成
概述 描述Dataphin数据集成自定义非RDBMS组件中JS如何填写？详细信息 非RDBMS组件比较复杂，需要用户自己开发读写插件以及组件配置页面JS。注意组件界面JS是非必须的，如果没有组件页面JS，提供了一个脚本模式输入输出组件，可以像MySQL...
概述 日常答疑中，经常有用户对于自定义组件中JSON串配置项的意义和用法不是特别清楚，本篇通过具体问题说明自定义组件中JSON串和自定义数据源配置项的对应关系...相关文档 自定义组件 适用于 产品名称：Dataphin 产品模块：数据集成、数据源
本文介绍如何在不同大数据分析平台中接入 云数据库 Tair（兼容 Redis）实例。常见大数据分析平台集成实例的方法如下：大数据开发治理平台DataWorks：请参见 配置Redis Writer插件。说明 Tair（企业版）完全兼容Redis，您可以参考该文档配置...
产品名称 Dataphin 产品模块 数据集成 概述 通过自定义参数来解决业务日期为T-2问题 问题描述 当前日期为20210706，用户需要抽取20210704的数据，分区配置ds=${bizdate-1}调度任务运行失败报错：Illegal repetition near index 3 ds=${...
问题描述 Dataphin数据集成Oracle组件下拉表清单提示无法获取元数据。问题原因 数据源中绑定的账号没有数据库元数据的相关表权限，涉及的表如下：ALL_TABLES ALL_TAB_COMMENTS ALL_VIEWS ALL_TAB_COLUMNS ALL_COL_COMMENTS 解决方案 在...
产品名称 Dataphin 产品模块 数据集成 概述 提供数据集成中输入表字段和输出表字段映射不上问题的排查思路 问题描述 管道集成时，字段映射有问题，有些字段可以映射上、有些映射不上，不管是同名映射还是同行映射都会出现：问题原因 表字段...
问题描述 Dataphin想要通过数据集成导入到Hologres提示没有写入权限，一天前还可以正常操作。问题原因 申请的数据源权限过期导致。在数据源权限中查看相关的权限内容账号对应的权限时限过期导致。解决方案 点击对应权限操作中的续期按钮...
问题描述 Dataphin数据集成任务Flink DataStream为什么在Dev运维环境中无法运行？解决方案 Flink DataStream作业是硬编码，避免Dev环境任务跑起来把数据写入到生产数据源。Flink DataStream作业需要在Prod运维环境运行。适用于 Dataphin
产品名称 Dataphin 产品模块 数据集成 概述 提供数据集成任务运行报“java.io.IOException:Error writing request body to server”错误问题排查思路和方向 问题描述 adb数据集成到odps，后台报错：ERROR RetryUtil-Exception when calling...
概述 本文主要介绍Dataphin管道任务将逻辑表数据集成到业务数据库中时，调度配置中如何解析逻辑表任务为上游依赖。详细信息 由于Dataphin3.3版本开始，管道任务中没有自动解析的按钮，很多用户将逻辑表数据通过管道任务同步到其他业务数据...
问题描述 Dataphin数据集成中SAP HANA可以选到表，但是管道任务中报错“invalid table name:Could not find table/view CE9PB00_H in schema SLT_USER”。2022-09-23 09:42:20.231[job-1042479]ERROR DlinkTransPreview-Exception when job...
说明 本地自建MongoDB和 云数据库 MongoDB 版 默认已开启Oplog日志，且使用此方式同步增量数据时增量同步任务的延迟较小（拉取日志的速度较快），因此推荐选择 Oplog。ChangeStream：若源库已开启变更流（Change Streams），则支持此选项。...
本文为您介绍独享数据集成资源组的性能指标和计费标准。性能指标 规格 离线同步最大并发线程数 4c8g 8 8c16g 16 12c24g 24 16c32g 32 24c48g 48 规格 单任务建议需要的资源规格 MySQL来源实时同步数据库数1 4c8g MySQL来源实时同步数据库数...
操作步骤 步骤一：实时集成MySQL数据源至 Kafka数据源 在Dataphin首页，单击顶部菜单栏的 研发-数据集成。按照以下操作指引，进入 新建实时集成任务 对话框。选择 项目（Dev-Prod模式需要选择环境）-单击 实时集成-单击 新建图标-单击 实时...
数据集成是阿里提供的跨异构数据存储系统的可靠、安全、低成本、可扩展的数据同步平台，支持20多种...您可以通过 数据集成 向云数据库RDS MySQL进行数据的导入和导出，详情请参见 MySQL数据源 以了解如何使用数据集成工具进行数据导入和导出。
本章节重点介绍如何使用主流数据湖格式（如Paimon、Hudi、Iceberg）进行数据存储与管理，并结合流批一体技术实现高效的数据处理。使用Paimon 使用Hudi 使用Iceberg 使用Delta Lake 使用DLF 基于Flink、EMR Serverless Spark与Paimon构建流...
如何在阿里云DataWorks数据集成服务通过Paimon REST将数据导入至DLF Catalog。前提条件 已创建DataWorks工作空间。如未创建，详情请参见 创建工作空间。创建DLF Catalog 详情请参见 DLF 快速入门。创建数据源 进入数据源页面。登录 ...
问题描述 Dataphin数据集成新建字段，获取当前时间将时间写入到目标表，任务运行成功后，查询目标表该字段数据显示为空。问题原因 Dataphin仅支持MaxCompute 1.0 的数据类型，目标字段的数据类型是DATE不支持。解决方案 将目标字段类型切换...
可以实现跨机房、跨数据中心、跨云的数据集成方案，并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至消息产品，并且可靠地管理来自不同源头的数据源，同时对来源数据进行筛选和过滤。概念介绍—消息流出（Sink）消息流出的...
问题描述 Dataphin FTP客户端可以正常访问，数据源也是正常连通，但是数据集成报错“获取文件：[/xxx]属性时发生I/O异常,请确认与ftp服务器的连接正常”。问题原因 FTP未开启被动模式。项目沙箱白名单中未开启FTP被动模式的范围端口，只...
可以实现跨机房、跨数据中心、跨云的数据集成方案，并能自助实施、运维、监控集成数据。主要能力是将各类数据流入至 云消息队列 Kafka 版，并且可靠地管理来自不同源头的数据源，同时对来源数据进行筛选和过滤。概念介绍—消息流出（Sink）...
本文为您介绍如何将Oracle的数据集成到阿里云对象存储OSS（Object Storage Service）的指定存储空间（Bucket）中。前提条件 Oracle数据库已开通公网访问权限或已通过专有网络VPC接入到阿里云。说明 通过专有网络VPC将Oracle数据库接入到...
本文以自建SQL Server数据库为例，为您介绍如何将SQL Server的数据集成到阿里云对象存储OSS（Object Storage Service）的指定存储空间（Bucket）中。前提条件 SQL Server数据库已开通公网访问权限或已通过专有网络VPC接入到阿里云。说明 ...
本文以自建MySQL数据库为例，为您介绍如何将MySQL的数据集成到阿里云对象存储OSS（Object Storage Service）的指定存储空间（Bucket）中。前提条件 MySQL数据库已开通公网访问权限或已通过专有网络VPC接入到阿里云。说明 通过专有网络VPC将...
本文以自建MongoDB（副本集架构）为例，为您介绍如何将MongoDB（副本集架构）的数据集成到阿里云对象存储OSS（Object Storage Service）的指定存储空间（Bucket）中。前提条件 MongoDB（副本集架构）数据库已通过专有网络VPC接入到阿里云。...