ListDatabases 获取数据库列表 获取数据湖中数据库列表,分页查询,可以根据数据库名称匹配。表 表 CreateTable 新增数据表 新增数据湖的数据表。DeleteTable 删除数据表 根据名称删除数据湖的数据表。DeleteTableColumnStatistics 删除...
数据源负责从各种数据存储系统中提取数据,包括数据库(如MySQL、PostgreSQL)、大数据存储(如TableStore)、API、文件等。本文为您介绍DataV-Board支持的所有数据源,并提供数据源的选型指导。使用限制 数据源支持情况因不同版本而异,...
当您需要在MaxCompute访问Hologres数据时,可通过数据目录的Hologres元数据映射功能创建MaxCompute外部表,以直接读取Hologres数据,无需将数据导入MaxCompute,此方式可以节省计算存储资源、实现灵活高效的数据处理。背景信息 MaxCompute ...
根据用户的问题,数据助手将自动生成SQL语句并查询数据,以直观的图表形式展示结果,并总结数据的特点。步骤四:一键创建 通过复制DMS ChatBI数据助手应用模板,并开通相关的MCP服务,便于数据助手查询托管至DMS的数据库实例的数据。在DMS ...
您可以通过本文了解各导入方式的特性及适用场景,帮助您选择合适的数据导入方式。通过外表导入数据 AnalyticDB for MySQL 内置不同数据源的访问链路,支持通过创建外表来映射外部数据源,并发地读取外部数据并导入到 AnalyticDB for MySQL...
例如:在联合风控、跨国服务等场景下,有严格的数据合规要求,组织间无法进行明文数据的合规获取。在合作营销等场景下,存在组织间的既合作又竞争的复杂关系,难以进行明文数据共享。全密态数据库安全分级 从安全视角,云数据库的安全性由...
TSDB 提供时序数据的高效读写。对于百万数据点的读取,响应时间小于 5 秒,且最高可以支撑每秒千万数据点的写入。数据写入 TSDB 支持通过 HTTP 协议和 TSDB Java Client 两种方式进行数据写入。数据查询 TSDB 支持通过 HTTP 协议、TSDB ...
ModifyDefaultLevel 修改敏感数据的风险等级定义规则 调用本接口修改敏感数据的风险等级定义规则,包括未能识别数据的默认风险等级、归类为“敏感”的数据风险等级。ModifyRuleStatus 修改识别规则的检测功能状态 调用本接口开启或关闭敏感...
购买RDS PostgreSQL实例并完成必要配置(创建账号、设置白名单)后,您就可以通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具或应用程序等方式连接RDS PostgreSQL实例,实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件...
购买RDS PostgreSQL实例并完成必要配置(创建账号、设置白名单)后,您就可以通过数据管理DMS、pgAdmin客户端、PostgreSQL命令行工具或应用程序等方式连接RDS PostgreSQL实例,实现您的业务目标。本文介绍这些连接方法的具体操作。前提条件...
DB2数据源作为数据中枢,为您提供读取和写入DB2数据库的双向通道,能够快速解决海量数据的计算问题。本文为您介绍DataWorks的DB2数据同步的能力支持情况。支持的版本 DB2 Reader和DB2 Writer使用的DB2驱动版本为 IBM Data Server Driver ...
相关概念 API(Application Programming Interface,应用程序编程接口):API是让应用、软件、系统能够面向数据源进行数据交互的接口,数据服务API支持“读数据”的操作,可以从数据库、数据表中不断地进行数据查询。函数:作为API过滤器,...
行业分析器 行业-电商通用分析 分析器介绍 行业-电商通用分析器(chn_ecommerce_general)是根据集团多年积累的电商行业数据并借助达摩院先进的智能语言处理技术,贴合行业痛点与需求,推出的适用于电商行业场景的分析器。例如:原始内容:...
相关概念 API(Application Programming Interface,应用程序编程接口):API是让应用、软件、系统能够面向数据源进行数据交互的接口,数据服务API支持“读数据”的操作,可以从数据库、数据表中不断地进行数据查询。函数:作为API过滤器,...
否 无 fetchSize 该配置项定义了插件和数据库服务器端每次批量数据获取条数,该值决定了数据集成和服务器端的网络交互次数,能够较大地提升数据抽取性能。说明 fetchSize 值过大(2048)可能造成数据同步进程OOM。否 512 Writer脚本Demo ...
导入Hive源数据 增量数据迁移说明 实际生产环境中,Hive数据主要分为离线数据和增量数据,由于Hive数据迁移到 SelectDB,通常的使用场景是拷贝一份数据到数据仓库进行查询加速,因此对于增量数据的迁移,可以考虑以下方式:在生产Hive数据...
同时支持依据管理员划分的数据域来进行敏感数据的统计和展示,支持统计敏感实例数、库、表数量,支持查看敏感数据详情以及样本数据。查看敏感数据识别结果 识别订正 对数据识别任务识别出的数据,支持管理员通过查看数据样本的方式来验证...
本文将简单对比三种数据迁移方式,并详细介绍通过DTS迁移Redis数据的详细步骤。云数据库 Tair(兼容 Redis)实例间数据迁移的方式对比 对比项\数据迁移方式 DTS 从备份集恢复至新实例 通过数据闪回按时间点恢复数据 适用场景 迁移数据到...
使用这些工具时,需自行指定导入数据的SRID、文件编码、表名及导入方式等相关信息,对于栅格数据还需额外指定栅格波段、切片大小等参数。这样的方式对于 云原生数据库PolarDB 并不适用,主要原因为:PostGIS提供的导入工具需要对数据库所...
使用这些工具时,需自行指定导入数据的SRID、文件编码、表名及导入方式等相关信息,对于栅格数据还需额外指定栅格波段、切片大小等参数。这样的方式对于 云原生数据库PolarDB 并不适用,主要原因为:PostGIS提供的导入工具需要对数据库所...
同一个名称的数据源可存在开发环境和生产环境两套配置,设置两个不同的数据库/实例,使任务在测试和生产调度时操作的数据隔离,确保生产环境数据的安全。如:执行数据开发或离线同步任务时,系统自动根据任务当前所在环境,访问对应的数据...
在DataWorks中,您可通过创建SSH数据源并配置主机访问信息的方式远程访问主机,随后,SSH节点可通过该数据源远程访问主机并触发主机脚本执行。例如,您可通过此方式实现在DataWorks远程访问ECS(Elastic Compute Service)并触发ECS中的...
连接方式 的选项与 接入方式 和 架构类型 有关,请以控制台为准。说明 架构类型 为 分片集群架构,且 迁移方式 为 Oplog 的MongoDB数据库,不支持 SSL安全连接。若源库为自建(接入方式 不为 云实例)副本集架构 的MongoDB数据库,并且选择...
同时,您可以购买PolarDB存储包来抵扣OSS中冷数据的存储容量,以减少这部分费用。详细信息,请参见 存储包。中国内地 中国香港及海外 0.00021/GB/小时 0.000294/GB/小时 示例:以中国内地为例,若您开启并执行了冷数据归档操作,归档的数据...
连接方式 的选项与 接入方式 和 架构类型 有关,请以控制台为准。说明 架构类型 为 分片集群架构,且 迁移方式 为 Oplog 的MongoDB数据库,不支持 SSL安全连接。若源库为自建(接入方式 不为 云实例)副本集架构 的MongoDB数据库,并且选择...
源库的操作限制:在结构同步和全量同步阶段,请勿执行库或集合的结构变更(包含数组类型数据的更新),否则会导致数据同步任务失败或源库与目标库的数据不一致。如仅执行全量数据同步,请勿向源实例中写入新的数据,否则会导致源库与目标库...
连接方式 的选项与 接入方式 和 架构类型 有关,请以控制台为准。说明 架构类型 为 分片集群架构,且 迁移方式 为 Oplog 的MongoDB数据库,不支持 SSL安全连接。若源库为自建(接入方式 不为 云实例)副本集架构 的MongoDB数据库,并且选择...
源库的操作限制:在结构同步和全量同步阶段,请勿执行库或集合的结构变更(包含数组类型数据的更新),否则会导致数据同步任务失败或源库与目标库的数据不一致。若仅执行全量数据同步,请勿向源实例中写入新的数据,否则会导致源库与目标库...
注意事项 若某一行数据同时包含热数据和冷数据,例如更新了部分列导致一行数据中既存在热数据又存在冷数据的场景,开启查询热数据优先功能会导致该行的查询结果分两次返回,即Scanner返回的Result集合中,对于同一个Rowkey会有两个对应的...
准备工作 在连接数据库集群前,您需要进行以下操作:获取数据库连接地址与端口 您可以前往 PolarDB控制台,在 集群列表 中单击目标集群ID进入集群详情页。在 数据库连接 中获取 数据库连接地址(主地址、集群地址和自定义地址)。说明 推荐...
数据集成 MaxCompute可以通过数据集成功能加载不同数据源(例如MySQL数据库)的数据,也可以通过数据集成把MaxCompute的数据导出到各种业务数据库。数据集成功能已集成在DataWorks上,您可以直接在DataWorks上配置MaxCompute数据源并读写...
说明 DTS数据同步通常包含存量数据的迁移和增量数据的实时同步,数据迁移通常用于存量历史数据的迁移。单击 创建同步任务,配置源库及目标库信息。类别 配置 说明 任务信息 任务名称 DTS会自动生成一个任务名称,建议配置具有业务意义的...
后续步骤 获取原始数据后,可参见 组件数据源配置 进行组件数据的适配。常见问题 问题描述:如果在Chrome浏览器中打开HTTP网站时,始终自动跳转至HTTPS,该如何处理?解决方案:由于浏览器安全限制,HTTP网站会自动跳转至HTTPS。请进入 ...
准备工作 在连接数据库集群前,您需要进行以下操作:获取数据库连接地址与端口 集中式 PolarDB PostgreSQL版 集群 集中式 PolarDB PostgreSQL版 集群指 产品版本 为 企业版 或 标准版 的集群。您可以前往 PolarDB控制台,在 集群列表 中...
准备工作 在连接数据库集群前,您需要进行以下操作:获取数据库连接地址与端口 您可以前往 PolarDB控制台,在 集群列表 中单击目标集群ID进入集群详情页。在 数据库连接 区域中获取 数据库连接地址。说明 推荐使用 集群地址,默认端口号为...
MySQL Workbench(推荐)SQLyog Sequel Pro Navicat for MySQL 说明 第三方GUI客户端可执行基础的数据库操作,包括数据的增删改查和DDL操作,对于工具高级特性,PolarDB-X 可能并不支持。以下以MySQL Workbench 8.0.29版本为例,其他客户端...
MySQL Workbench(推荐)SQLyog Sequel Pro Navicat for MySQL 说明 第三方GUI客户端可执行基础的数据库操作,包括数据的增删改查和DDL操作,对于工具高级特性,PolarDB-X 可能并不支持。以下以MySQL Workbench 8.0.29版本为例,其他客户端...
GetTableToken dlf:GetTableToken 获取访问表数据的凭证。GetTableSnapshot dlf:GetTableSnapshot 获取表快照。Partition ListPartitions dlf:ListPartitions 查询分区列表。MarkDonePartitions dlf:MarkDonePartitions 标记完成分区。...
由于StarRocks数据迁移到 SelectDB,通常的使用场景是拷贝一份数据到数据仓库进行查询加速,因此对于增量数据的迁移,可以考虑以下两种方式:在生产 SelectDB 数据时并行写入一份数据到 SelectDB。通过周期性作业读取StarRocks中的分区数据...
连接方式 的选项与 接入方式 和 架构类型 有关,请以控制台为准。说明 架构类型 为 分片集群架构,且 迁移方式 为 Oplog 的MongoDB数据库,不支持 SSL安全连接。若源库为自建(接入方式 不为 云实例)副本集架构 的MongoDB数据库,并且选择...