对归档至OSS的表执行rename操作会修改OSS上的文件信息，速度大约为100MB/s，您可以根据数据总量来估算时长。出现ERROR 8185(HY000):Change partition not support archive to engine CSV报错，如何处理？将分区表中的分区归档至OSS的功能...
根据数据源类型不通，进入对应路径查看。如果数据源为EMR、CDH/CDP集群：在左侧导航栏，单击 集群管理，查看对应集群的 集群访问身份。其他数据源：在左侧导航栏，单击 数据源>数据源列表，找到目标数据源，单击操作列的编辑，查看 默认...
您可以根据数据中插值点的 value 值区间进行调整。分段颜色：value 值在您所设置的 分段区间 内的插值点的颜色。数据 插值点数据接口 可查看上图中的 示例JSON代码。表 1.字段说明 字段 说明 lng 插值点的经度。lat 插值点的纬度。value ...
StarRocks提供了多种导入方式，您可以根据数据量大小或导入频率等要求选择最适合自己业务需求的导入方式。StarRocks导入方式与各数据源关系图如下。您可以根据不同的数据来源选择不同的导入方式：离线数据导入：如果数据源是Hive或HDFS，...
说明 根据数据的 value 区间得出scale区间，从而计算从最大到最小的颜色渐变区间。name（可选）区域的名称。您也可以在数据源中配置 fillColor 字段。地图中对应的区域将根据您设置的参数进行渲染。其中 fillColor 支持 red、#fff000、rgba...
2020-02-26 全部区域 创建OSS外部表 外部表支持 MSCK REPAIR TABLE 语法 MaxCompute支持根据数据所在的OSS文件路径自动补全外部表分区。2020-02-26 全部区域 创建OSS外部表 支持SQL中列名书写智能纠错 运行SQL时，如果输入的字段名有误，...
连接方式 根据数据安全要求选择 非加密连接 或 SSL安全连接，本文以 非加密连接 为例介绍配置流程。目标库信息 选择已有的实例 您可以按实际需求，选择是否使用已有实例。如使用已有实例，数据库信息将自动填入，您无需重复输入。如不使用...
支持 Oracle 字符集和 OceanBase 数据库 Oracle 租户不同场景下，字段长度根据数据迁移项目的具体情况选择策略。迁移无主键表时，通过在目标端新增隐藏列进行迁移。但是如果目标端是 Oracle 数据库 12C 之前的版本，则通过在目标端增加非...
您需根据数据源后续的用途，在对应资源组类型页签下，测试所需资源组的连通性。若资源组与数据源无法连通，则相应数据源任务将无法正常执行。后续操作 为保障您的开发过程更加顺畅，建议先阅读 DataWorks On Hologres使用说明，了解在...
data))var=page.text(element="男装衣服价格",index=i)sheet.write(range='C'+str(count+count_data),value=var)count_data+1 flag+1 page.click("男装t恤短袖—下一页")sleep(3)xls.save()2、案例二 业务场景：操作Excel数据透视表。...
说明 根据数据的 value 区间得出scale区间，从而计算从最大到最小的颜色渐变区间。info（可选）弹窗内容。表 2.配置项说明 配置项 说明 受控模式 打开开关，资产初始化状态下不请求数据，仅通过回调ID或蓝图编辑器配置的方法发起请求数据；...
2020.11.18 配置并开启审计模式 敏感数据识别 迭代 识别任务说明 敏感数据识别 迭代 支持自定义敏感数据识别规则，可根据数据库字段名和正则匹配敏感信息。2020.10.28 配置识别模板 数据审计 迭代 支持对OceanBase进行敏感数据识别和数据...
您可以根据 数据源开发和生产环境隔离 进行评估与修改数据源。DataWorks工作空间数据源 此安全检测项为你扫描哪些标准模式空间下的数据源生产、开发环境配置相同。数据源访问模式 说明 DataWorks支持通过角色模式访问OSS数据源，该模式较...
Dataphin资产优化，指标列表支持根据数据板块/主题域视角切换查看不同范围的指标。新增业务系统资产详情，支持按照来源 数据源 和归属 业务系统 两个视角查看采集到的数据源表详情。更新 查看资产清单 指标详情 逻辑表和字段详情 资产治理-...
数据库管理 功能集 功能 功能描述 参考文档 实例管理 创建与释放实例 支持通过Lindorm管理控制台创建和释放Lindorm实例。创建实例 释放实例 管理存储空间 管理存储空间是数据库...用户可以根据数据的访问模式，灵活地选择存储介质。多级存储
ListProjectModifyRecords 查询项目的修改记录 该接口用于根据数据迁移或数据同步项目的 ID 查询项目的修改记录。CreateProjectModifyRecords 修改传输对象 修改传输对象（加减表）(仅支持处于 RUNNING/FAILED/SUSPEND 状态的项目)...
计划负责人和任务处理人都可根据数据分析结果，及时调整和优化治理策略，以取得更好的数据治理成效。计划已达成或计划到期未达成 当任务处理人治理问题带来的成效达到了系统预设的治理目标值，系统会自动将治理计划置为 已达成 状态，并...
您可以根据数据库所在网络环境，选择合适的网络解决方案来实现数据源与资源组的网络连通。在配置同步任务前，您需要确保数据集成资源组与您将同步的数据来源端与目标端网络环境已经连通，对应数据库环境与网络连通配置详情请参见：网络连通...
该配置根据数据源本身特性及writer插件支持情况，此处配置不同。您需要参考具体writer插件进行配置。步骤四：配置字段映射关系 选择数据来源和数据去向后，需要指定读取端和写入端列的映射关系，配置字段映射关系后，任务将根据字段映射...
数据类型映射关系 由于MySQL和 云原生数据仓库AnalyticDB MySQL 的数据类型并不是一一对应的，所以DTS在进行结构初始化时，会根据数据类型定义进行类型映射，详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步作业，...
数据类型映射关系 由于MySQL和 云原生数据仓库AnalyticDB MySQL 的数据类型并不是一一对应的，所以DTS在进行结构初始化时，会根据数据类型定义进行类型映射，详情请参见 结构初始化涉及的数据类型映射关系。操作步骤 购买数据同步作业，...
该配置根据数据源本身特性及writer插件支持情况，此处配置不同。您需要参考具体writer插件进行配置。通道控制。您可以在 setting 域中进行效率配置，主要包括并发数设置、同步速率设置、同步脏数据设置等信息。参数 描述 executeMode（分布...
说明 根据数据的 value 区间得出scale区间，从而计算从最大到最小的颜色渐变区间。info（可选）弹窗内容。您也可以在数据源中配置 strokeColor（线颜色）、weight（线宽）、dashArray（虚线）、fillColor（填充颜色）等字段。地图中对应的...
实例 根据数据库实例名进行选择。数据库名称 填写MySQL内创建的数据库名。用户名 MySQL数据库账号。密码 MySQL数据库账号密码 认证选项 无认证。填写完MySQL数据源的配置项后，选中已与DataWorks空间关联的资源组，单击批量测试连通性，...
RDS PostgreSQL 实例的数据同步（结构同步或增量 DDL）至 OceanBase 数据库 Oracle 租户时，表名、字段名将根据数据传输的默认策略转为大写。例如，源端的表名为 a，则目标端默认转为 A。您可以通过 a、A 或“A”的方式使用表名、字段名，...
RDS PostgreSQL 实例的数据迁移（结构迁移或增量 DDL）至 OceanBase 数据库 Oracle 租户时，表名、字段名将根据数据传输的默认策略转为大写。例如，源端的表名为 a，则目标端默认转为 A。您可以通过 a、A 或“A”的方式使用表名、字段名，...
说明 根据数据的value区间得出scale区间，从而计算从最大到最小的颜色渐变区间。geometry（可选）地区的平面空间数据。colorField（可选）地区的颜色映射字段。textureShapeField（可选）地区的纹理形状映射字段。textureColorField（可选...
消费订阅数据 根据消费客户端和数据库的类型，选择订阅数据的消费方式：使用SDK示例代码消费订阅数据 使用SDK示例代码消费PolarDB-X 1.0订阅数据 使用flink-dts-connector消费订阅数据 使用Kafka客户端消费订阅数据 结束数据订阅 释放实例...
利用 写入Excel行 组件，将获取的商品标题与价格写入指定行中 利用 后退 组件，回退到淘宝首页 执行结果 如下图所示，该流程成功在Chrome浏览器中访问了淘宝页面，并根据Excel表中的搜索名称这一列内容依次循环搜索商品信息，并将搜索到的...
设置任意时间点保护策略 新增 数据库备份DBS 新增serverless规格，该规格备份计划能够根据数据源负载情况动态优化备份任务资源与速度，适用于备份数据量小且期望节约成本的场景。说明 serverless规格当前只支持MySQL逻辑备份。如何选择备份...
MaxCompute控制台提供数据上传功能，支持您将本地文件或阿里云对象存储服务OSS中的文件数据离线（非实时）上传至MaxCompute进行分析处理及相关管理操作。使用限制 仅支持基于 本地文件 或 阿里云对象存储OSS 上传数据，具体如下。本地文件...
上传本地数据前需要先下载样例，样例由Dataphin自动识别读写的表和表的schema信息生成的csv格式样例模板，您可根据下载的样例编辑需要上传的数据，单击 上传 后，数据自动填充至 元数据采样 区域。手动输入数据 适用于采集的数据比较少，...
Session集群调试方式：即通过Session集群进行调试，调试的数据为 线上的真实数据 且为 流式数据（即来源表中写入数据时，将直接输出该条数据的计算结果，与真实线上运行任务的结果一致）。该方式下，Session集群提供Flink任务状态、日志和...
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
定时调度补数据任务是指任务将按照配置的定时调度时间生成并运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理定时调度类型的补数据任务。定时调度补数据任务入口 在Dataphin首页，单击顶部菜单栏的 研发。默认进入数据 ...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
在基于HBase、Elasticsearch或MongoDB数据源创建服务单元之前，需要先创建对应数据源中数据表的元数据，以实现通过元数据确定数据源中数据表的结构。后续您可以通过该元数据读取到对应数据源的数据。本文为您介绍如何创建HBase、...
手动运行补数据任务是指手动运行补数据实例，进行历史数据的回刷。本文将为您介绍如何查看并管理调度类型为手动运行的补数据任务。手动运行补数据任务入口 请参见 运维中心入口，进入 运维 中心。按照下图操作指引，进入 手动运行 补数据...
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...
代码中若使用调度参数，则该参数将根据补数据时选择的业务日期自动替换为具体值，结合业务代码将对应时间数据写入对应分区。帮助您对数据中缺失、错误、重复或不完整的数据进行补全、修正。调度类型说明 Dataphin补数据任务支持两种调度...