背景信息 常见数据传输场景如下：将MySQL数据导入HDFS 将HDFS数据导入MySQL 将Hive数据导入MySQL 将MySQL数据导入Hive 将MySQL数据导入OSS 将OSS数据导入MySQL 使用SQL作为导入条件 将MySQL数据导入HDFS 在Master节点上执行如下命令。...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可以根据标签给数据源进行分类...
说明 该参数仅在 数据库所在位置 参数为 无公网IP:Port的自建数据库(通过数据库网关DG接入)、有公网IP:Port的自建数据库、ECS上的自建数据库、通过专线/VPN网关/智能网关接入的自建数据库 时需要填写该参数。端口 目标数据库的链接端口。...
已选择的恢复时间点 选择需要恢复的时间，设置的时间必须在可恢复的时间范围内 恢复目标数据库 数据库所在位置 选择恢复目标数据库所在位置，支持类型如下：无公网IP:Port的自建数据库(通过数据库网关DG接入)：可通过数据库网关备份自建...
本教程以MySQL中的用户基本信息 ods_user_info_d 表和OSS中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至StarRocks的 ods_user_info_d_starrocks、ods_raw_log_d_starrocks 表。旨在介绍如何通过...
数据源配置 基于业务数据源是否区分生产数据源和开发数据源：如果业务数据源区分生产数据源和开发数据源，则选择 生产+开发数据源。如果业务数据源不区分生产数据源和开发数据源，则选择 生产数据源。标签 您可以根据标签给数据源进行分类...
API请求参数和返回参数配置 在配置API 请求参数 和 返回参数 的过程中，您需要先确定输入参数和输出参数的来源表，再编写API SQL并解析出请求参数和返回参数，最后配置请求参数和返回参数的基本信息。在 API参数配置 区域，确定输入参数和...
数据传输服务DTS（Data Transmission Service）支持修改实例的部分参数，帮助您降低数据传输过程中的延迟，提升数据传输的性能和效率。前提条件 已创建同步或迁移实例，详情请参见 同步方案概览 或 迁移方案概览 中的相关配置文档。注意...
命令格式 select(返回参数1+返回参数2)as 别名，(返回参数2+返回参数3)as 别名 from 逻辑表名 where 字段c=${请求参数名1} and 字段b=${请求参数名2} or 字段c=${请求参数名3} 使用示例-在数据表A中查询当字段c=id_card，或字段b=num，且...
本文介绍了如何使用DataV-Atlas（分析地图）添加日期/时间、数值、文本类型的SQL参数，实现地图数据的交互分析功能，以灵活高效地查询和分析地理信息数据。前提条件 已经创建项目、添加数据源并创建图层。请参见 数据源管理。进入交互分析 ...
Spark SQL 参数 说明 数据库类型 Spark SQL 名称 新建数据库的名称，长度限制为1~64个字符，只允许包含中文、字母、数字、空格、短划线（-）和下划线（_）。网络类型 仅支持专有网络类型。专有网络 默认展示工作空间配置的网络参数，不支持...
命令格式 select(返回参数1+返回参数2)as 别名，(返回参数2+返回参数3)as 别名 from 逻辑表名 where 字段c=${请求参数名1} and 字段b=${请求参数名2} or 字段c=${请求参数名3} 使用示例-在数据表A中查询当字段c=id_card，或字段b=num，且...
您可以在场景编辑器中，单击需要调整参数的地形图层，在右侧图层数据面板中，单击 重新选择数据 按键，打开 选择范围 对话框，单击右上角的 高级配置，在地形子组件参数编辑器内，修改组件的算法参数内容。如下图地形遮挡建筑问题所示，...
启动数据迁移项目时，为确保项目的顺利运行，OceanBase 数据传输功能会自动启动预检查环节，针对源端和目标端的数据库连通性、相关配置的正确性、增量日志参数等问题或设置进行检查。本文为您介绍数据迁移项目预检查环节的常见报错和解决...
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 已创建API数据源。具体操作，请参见 创建API数据源。进行API输入组件属性配置的账号，需具备该数据源的同步...
新建数据源是创建数据迁移或数据同步任务的前提。本文为您介绍如何在数据传输中新建 OceanBase 数据源。安全风险提醒 使用 OceanBase 数据传输服务，您可以选择自动添加或手动添加 OceanBase 数据传输服务的公网 IP 地址段，但可能存在安全...
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
在 新建同步链路 页面，配置 数据源及目标端配置、目标库表配置 和 同步配置，参数说明如下表：数据源及目标端配置 的参数说明如下：参数名称 参数说明 数据链路名称 数据链路名称。系统默认按数据源类型与当前时间生成名称，可按需修改。...
如果数据同步实例没有被成功启动，可能是预检查失败，您可以调用 DescribeSynchronizationJobStatus 接口查询数据同步实例的状态，获取预检查失败的错误提示并进行参数调整。调整完成后，您可以调用 StartSynchronizationJob 接口来重启...
场景四：同步历史数据 基于调度参数可根据业务时间将参数自动替换为对应的值这一特性，当您创建任务当天需要将历史数据进行补齐时，您可使用补数据功能，补数据支持补历史一段时间的数据或者未来一段时间的数据，调度参数将在任务调度时...
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 系统角色创建...
说明 在调整参数时，仅会修改DTS实例的参数，不会对数据库中的参数进行修改。可能修改的参数，包括但不限于 修改实例参数 中的参数。其他注意事项 PolarDB MySQL版 间的双向同步：目前DTS仅支持两个 PolarDB MySQL版 之间的双向同步，暂不...
DescribeParameters 查询实例的配置参数和运行参数 查询云数据库 Tair（兼容 Redis）实例的配置参数和运行参数。DescribeParameterModificationHistory 查询参数修改历史 查询云数据库 Tair（兼容 Redis）实例的参数修改历史。标签管理 API...
在数据库性能优化时，针对数据库参数的调优是一个行之有效的方案。使用参数诊断功能，您可以对数据库实例控制台可修改的参数进行诊断，获得参数优化方案和7天内的参数修改历史。背景 在数据库领域，优化数据库性能是工业界和学术界最重要的...
在 PolarDB MySQL版 支持的高性能参数模板中，设置或开启的功能如下：表 1.5.6高性能参数模板参数说明 参数 参数说明 高性能参数模板中取值 参数默认值 innodb_flush_log_at_trx_commit 设置为0后，每秒写入并刷新一次，从而提升数据库的...
自治服务的空间管理功能通过提供分层监控与分析，帮助用户从实例层面深入到数据库，再从数据库深入到表，全面查看实例基本信息、空间总览、空间数据图表信息及空间变化趋势，帮助您从多个维度发现和定位数据库空间相关问题和异常。...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
配置API输入组件后，可以读取API数据源中的数据至Dataphin，进行数据集成与数据开发。本文为您介绍如何配置API输入组件。前提条件 已创建API数据源。具体操作，请参见 创建API数据源。进行API输入组件属性配置的账号，需具备该数据源的同步...
动作 动作 说明 请求地理数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如路况层配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 ...
通过创建API数据源能够实现Dataphin向API请求业务数据或向API请求写入数据。本文为您介绍如何创建API数据源。权限说明 仅支持拥有 新建数据源 权限点的自定义全局角色和 超级管理员、数据源管理员、板块架构师、项目管理员 系统角色创建...
本教程以MySQL数据源中的用户基本信息 ods_user_info_d 表和HttpFile中的网站访问日志数据 user_log.txt 文件为例，通过数据集成离线同步任务分别同步至私有OSS中，再通过Spark SQL创建外部表来访问私有OSS数据存储。本章节旨在完成数据...
运行属性 运行属性 用于设置数据检测节点的云计算资源和所要检测的数据表，关键参数说明如下：参数 说明 云计算资源类型 节点的云计算资源类型。必须与下游节点的云计算资源类型相同。数据结构 数据模型指代您已经在云资源中创建的物理表。...
数据处理类节点包括页面导航节点、并行数据处理节点、串行数据处理节点、序列执行节点和WebSocket节点。本文介绍在蓝图编辑器中，配置数据处理类节点的方法。页面导航节点 页面导航 节点，可用于实现页面跳转的功能，支持新开浏览器标签页...
作为SQL内置函数，如果参数的数据类型不是RAW，则此函数会将使用某些数据字节数表示的参数值转换为具有相同数据字节数的RAW值。数据本身不会以任何方式进行修改，但数据类型会重新转换为RAW数据类型。语法 RAWTOHEX(raw)参数 参数 说明 raw...
动作 动作 说明 请求数据接口 重新请求服务端数据，上游数据处理节点或图层节点抛出的数据将作为参数。例如绿地配置了API数据源为 https://api.test ，传到 请求数据接口 动作的数据为 { id:'1'}，则最终请求接口为 https://api.test?id=1 ...
为满足业务对数据仓库中高度时效性数据的需求，MaxCompute基于Delta Table实现了分钟级近实时数据写入和主键更新功能，显著提升了数据仓库的数据更新效率。数据写入场景 面对具有突发性和热点性的客户行为日志，如评论、评分和点赞，传统的...
通过创建Amazon Redshift数据源能够实现Dataphin读取Amazon Redshift的业务数据或向Amazon Redshift写入数据。本文为您介绍如何创建Amazon Redshift数据源。权限说明 仅支持具备 新建数据源权限点 的自定义全局角色和 超级管理员、数据源...
DataV通过与DataWorks数据服务的对接，通过交互式分析Hologres连接DataWorks数据服务开发并生成API，快速在DataV中调用API并展现MaxCompute的数据分析结果。数据服务对接DataV产生背景 MaxCompute是阿里巴巴集团自主研究的快速、完全托管的...
DataHub数据源作为数据中枢，为您提供读取和写入DataHub数据库的双向通道，能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DataHub数据同步的能力支持情况。支持的版本 DataHub Reader通过DataHub的Java SDK读取DataHub中的数据...
A：您可以在场景编辑器中，单击需要调整参数的地形图层，在右侧图层数据面板中，单击 重新选择数据 按键，打开 选择范围 对话框，单击右上角的 高级配置，在地形子组件参数编辑器内，修改组件的算法参数内容。如下图地形遮挡建筑问题所示，...