名称转化配置:非必选,名称转换配置可将您来源表的表名、字段名进行替换或过滤数据后进行同步。单击 名称转换配置。在 名称转换配置 页面,配置转换规则。表名转换规则:单击 新建规则,在规则项中填写 来源表待替换字符串 和 目标表替换...
如果需要导出全表数据,则配置示例如下:主键区间分布(起始)的配置示例[{"type":"INF_MIN"},{"type":"INF_MIN"}]主键区间分布(结束)的配置示例[{"type":"INF_MAX"},{"type":"INF_MAX"}]如果需要导出 pk1="tablestore"的行,则配置示例...
构建配置表consumption_records的数据,配置如下:操作步骤 创建配置表、业务表和消费券发放表,并写入数据。具体操作请参见 环境准备。新增任务流。登录 数据管理DMS 5.0。在顶部菜单栏中,选择 集成与开发(DTS)>数据开发>任务编排。...
背景信息 ETL支持的转换组件如下:表JOIN 字段计算器 表记录过滤 使用限制 ETL支持的转换组件存在如下限制:表JOIN:仅支持两个表之间做JOIN操作。字段计算器 和 表记录过滤:仅支持单个表结构。前提条件 已完成数据源信息的配置。配置表...
在画布中单击 读数据表-1 组件,在右侧 表选择 页签,配置 表名 为test_data。在画布中单击 混淆矩阵-1 组件,在右侧配置如下表中的参数,其余参数使用默认值。参数 描述 原数据的标签列列名 选择 label 列。预测结果的标签列列名 输入 ...
配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 离线研发 支持基于MySQL、Oracle数据源的数据库SQL任务调度和即席查询。...
更新说明 配置FTP输出组件 配置MySQL输出组件 配置AnalyticDB for MySQL 3.0输出组件 配置TiDB输出组件 配置OSS输出组件 配置Amazon S3输出组件 通过整库迁移配置集成任务 数据开发-编码研发-离线任务开发 支持基于MySQL、Oracle数据源的...
在 图表配置 模块,以 姓名 为X轴,销售额 为Y轴,直接从左侧柱状图配置表中将字段拖拽到 图表配置 内对应字段位置即可。参数 说明 X X轴的相关配置,您可以从左侧柱状图配置中拖拽过来,本案例中配置为姓名。单击字段右侧 图标,对X轴数据...
配置表字段:分别为 customer 和 product_name 全局缓存配置 高级版和专业版的组织管理员支持配置全局缓存策略。新组织默认关闭全局缓存。您可以按照图示方式进入全局缓存配置。当选择 开启 全局缓存(①)后,您可以设置 相同查询直接返回...
选择工作空间>配置管理>数据接入管理>数据导入>表结构配置,已配置的数据表列表如下图所示。表结构配置列表支持查看、编辑、查看调度任务、移除,但通过API导入的表结构配置(创建者是API同步)不支持编辑、移除。查看表结构配置 单击 查看...
使用UpdateTimeseriesTable,您可以更新时序表的配置信息或时间线表的配置信息,例如数据生命周期(Time To Live,简称TTL)配置。前提条件 已创建时序表。具体操作,请参见 创建时序表。已初始化TimeseriesClient。具体操作,请参见 初始...
调度配置 您可以通过配置逻辑表的调度配置,配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数,同时支持手动设定物化表的个数及...
配置逻辑表调度属性 您可以通过配置逻辑表的调度配置,配置逻辑表的数据延迟、调度属性、上游依赖、参数配置、运行配置、资源配置信息。物化配置 物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数,同时支持手动设定物化...
因此在实际上一个文本搜索匹配可能看起来更像:SELECT to_tsvector('fat cats ate fat rats')@to_tsquery('fat&rat');column?t 注意如果这个匹配被写成下面这样它将不会成功:SELECT 'fat cats ate fat rats':tsvector@to_tsquery('fat&rat...
创建时序表后,您可以使用表、查询表信息、列出表名称、更新表以及删除表。说明 关于时序模型的更多信息,请参见 时序模型概述。创建表 创建一张时序表,同时指定时序表的数据生命周期(TimeToLive)。命令格式 create-m mode-t tableName-...
一个自定义文本搜索配置的行为很容易变得混乱。本节中描述的函数对于测试文本搜索对象有用。你可以测试一个完整的配置,或者独立测试解析器和词典。配置测试 函数 ts_debug 允许简单地测试一个文本搜索配置。ts_debug([config regconfig,]...
任务配置上下游节点依赖前,您需先确认当前节点的表血缘关系(例如,表数据间的血缘关系、表产出的分区数据),基于血缘关系配置节点的调度依赖。本文为您介绍如何确认表血缘,以及未基于表血缘配置节点依赖的影响。背景信息 确认表血缘,...
为数据表创建二级索引后,您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表,且数据表的最大版本数(max Versions)必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
逻辑表参数配置是对逻辑表中所用的变量进行赋值,从而支持节点调度时,参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页,单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面,...
逻辑表参数配置是对逻辑表中所用的变量进行赋值,从而支持节点调度时,参数变量可以自动被替换为相应的变量值。本文将指导您如何配置逻辑表参数。操作步骤 在Dataphin首页,单击顶部菜单栏 研发。进入数据 开发 页面。在数据 开发 页面,...
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息,包括逻辑表的表类型、业务对象、数据板块,主题域、数据时效等基本信息,同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口,...
您可以在逻辑表编辑器属性对话框中查看逻辑表的基本信息,包括逻辑表的表类型、业务对象、数据板块,主题域、数据时效等基本信息,同时可配置对应责任人。本文为您介绍逻辑表属性的基本信息参数配置。操作步骤 请参见 离线任务属性入口,...
已配置的用户标签表可以通过编辑表结构配置进行映射,在下次调度导入时,属性开始获取数据。自定义用户属性 操作步骤:选择工作空间>配置管理>数据接入管理>数据导入>用户属性管理。单击右上角 新增属性。配置以下参数:参数 说明 显示名称...
LogicalTable输入组件用于读取Dataphin中逻辑表(事实逻辑表、维度逻辑表、汇总逻辑表)中的数据。同步Dataphin中逻辑表的数据至数据源的场景中,您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
LogicalTable输入组件用于读取Dataphin中逻辑表(事实逻辑表、维度逻辑表、汇总逻辑表)中的数据。同步Dataphin中逻辑表的数据至数据源的场景中,您需要先配置逻辑表信息。本文为您介绍如何配置LogicalTable输入组件。前提条件 在开始执行...
通过离线集成管道质量监控,Dataphin会自动为您监控数据表的质量,如果数据表有质量风险,系统会自动报警,通知告警接收人,帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
通过离线集成管道质量监控,Dataphin会自动为您监控数据表的质量,如果数据表有质量风险,系统会自动报警,通知告警接收人,帮助您及时了解数据表质量状况。本文为您介绍如何配置质量规则。权限说明 项目开发者支持创建集成任务、配置质量...
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时,需要在运维管理界面进行 配置更新,再 索引重建 才会生效:1.选择需要更新的“索引结构版本”,包括对应的数据源中的索引表的版本,选择需要更新的“高级配置版本”...
当用户执行了添加数据源、新增索引表/修改索引表、新增/更新高级配置时,需要在运维管理界面进行 配置更新,再 索引重建 才会生效:1.选择需要更新的“索引结构版本”,包括对应的数据源中的索引表的版本,选择需要更新的“高级配置版本”...
通过DTS实时同步PolarDB for MySQL数据到分析型数据库MySQL版...如果需要同步的表数量较少且分析型数据库MySQL版表结构与源表差异较大,可以在分析型数据库MySQL版中提前 创建表,配置同步链路 时需要把步骤7中的中 结构初始化 选项去掉即可。
配置页面的右侧为源端数据库表的预览,是根据上述步骤中配置的数据源预览出来的待同步的数据库表和已选择好要同步的数据库表的预览情况。您可根据待同步的源端数据库表的数量,参考以下操作建议,快速选择要同步的库表。如果您的数据库表...
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数,同时支持手动设定物化表的个数及字段在物化表中的分布,有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
示例二:表权限配置 Ranger Hive中表的创建权限可以配置到表级别,例如配置 database=testdb、table=test 和 column=*的 Create 权限时,用户仅具有 test 这张表的创建权限,不能创建其他表。如果您希望配置用户能在Database下自由创建所有...
物化配置用于配置维度和事实逻辑表的生命周期、分区字段及自定义参数,同时支持手动设定物化表的个数及字段在物化表中的分布,有效的提升了自动化生成模型的数据查询效率和资源使用效率。本文为您介绍如何配置维度和事实逻辑表的物化参数。...
使用限制 事实逻辑表数据时效须为天时效(离线T+1)且该逻辑表设置了 事件时间 字段,才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时,不支持开启延迟数据处理。操作步骤 请参见 数据开发入口 进入数据 开发 页面。在...
使用限制 事实逻辑表数据时效须为天时效(离线T+1)且该逻辑表设置了 事件时间 字段,才可配置是否开启数据延迟。当前逻辑表无设置事件时间字段、无主键时,不支持开启延迟数据处理。操作步骤 请参见 数据开发入口,进入数据 开发 页面。在...
数据传输服务DTS(Data Transmission Service)提供的数据同步功能简单易用,您只需在控制台上进行简单操作,即可完成整个数据同步任务的配置。首次使用数据同步功能时,请阅读 数据同步操作指导,帮助您快速掌握创建、监控、管理数据同步...
配置实时同步任务请参见 配置单表增量数据实时同步、DataStudio侧实时同步。注意事项 在数据集成同步任务配置前您需要在DataWorks 数据源管理 页面创建MaxCompute数据源,详情请参见 配置MaxCompute数据源。购买合适规格的独享数据集成资源...
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重,用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...
使用说明 仅Dataphin数据表和全域数据表支持配置质量分权重。说明 监控对象的质量分权重,用于统计项目、数据源、个人等视角的质量分。从不同视角查看Dataphin数据表质量规则 Dataphin支持从 全局、项目、个人 三个视角查看Dataphin数据表...