int getBatchPutTimeLimit()获取最大写数据提交限制。单位:毫秒 int getHttpConnectionLiveTime()获取连接的生命时长。单位:秒 int getHttpConnectionPool()获取连接池最大连接数量 int getHttpConnectTimeout()获取HTTP连接超时时间,...
提交数据集成任务 禁止将高安全级别区域的数据源置为源端,将低安全级别的数据源置为目的端。禁止将贴源层数据源置为源端,将非贴源层数据源置为目的端。禁止将境内数据源置为源端,将境外数据源置为目的端。(1)事后告警(2)事中拦截(1...
使用限制 数据推送功能推送至不同对象时的数据大小限制:推送对象为钉钉,推送数据大小不超过20KB。推送对象为飞书,推送数据大小不超过30KB,图片小于10MB。仅以下地域的DataWorks工作空间可使用数据推送功能:华东1(杭州)、华东2(上海...
提交模型至开发环境计算引擎 保存数据模型后,DataWorks开发角色需要先提交数据模型至开发环境计算引擎。测试无误后,再发布至生产环境。进入 数据开发 页面。登录 DataWorks控制台,单击左侧导航栏的 数据建模与开发>数据开发,在下拉框中...
批量提交数据点 批量提交数据点相对于单点提交,可以减少网络开销,提高整体吞吐量;SDK默认的异步提交批次大小为500点一批;线程数设置 SDK默认的异步提交消费者线程数为1;当写入TPS较高时,可以适当调大消费者线程;异步和同步写入优化 ...
}/手动打包后提交数据 tsdb.putSync(points)注意 出于写入性能的考虑,同步写的方式一般需要您手动将数据点打包成一批数据,并且建议这批数据包含500~1000个数据点。此外,也建议多个线程并发进行提交 同步写的响应对象 您可以根据需要...
导出权限:指提交数据导出工单的权限(非直接导出)。变更权限:指在SQL窗口执行变更语句的权限(SQL窗口执行变更语句受管理员配置约束);拥有提交数据变更、库表同步工单的权限(非直接变更)。提交工单申请权限时,权限的审批人是谁?...
使用限制 RDS SQL Server数据库 使用限制 RDS PostgreSQL数据库 使用限制 云数据库Redis版 使用限制 云数据库HBase版 使用限制 时间序列数据库TSDB 使用限制 图数据库GDB 使用限制 云数据库Memcache版 使用限制 云原生数据仓库AnalyticDB ...
发布模型至生产环境计算引擎 提交数据模型至开发环境计算引擎后,DataWorks运维、部署或空间管理员角色可以发布该数据模型至生产环境计算引擎。单击页面右上方的 任务发布。在 创建发布包 页面,选中相应模型并单击其 操作 列的 查看,查看...
拥有提交数据变更、库表同步工单的权限(非直接变更)。导出 指拥有提交数据导出工单的权限(非直接导出)。其他操作 在您了解完资源权限类型后,您可能还需要:管理资源的访问控制权限。不同用户角色管理访问控制的方法。更多信息,请参见...
步骤一、查找需回滚记录,生成回滚脚本 首先,您需要在DMS控制台提交数据追踪工单申请,审批通过后,根据解析出的日志,选择需要回滚的变更记录,并生成回滚脚本。登录 新版DMS控制台。在页面顶部,选择 数据库开发>数据追踪>数据追踪工单...
您可以在DMS中通过SQL窗口直接输入SQL语法或通过数据变更工单提交数据变更。同时,您可以自定义安全规则,实现对不同环境库定义不同的数据变更执行配置。本文将通过以下4个例子向您介绍典型场景下的安全规则设定与对应提交数据变更的方式。...
普通数据变更 通过SQL Console直接输入SQL语句或通过数据变更工单提交数据变更。测试数据构建 批量生成各类随机值、地区名、虚拟IP地址等信息,大大减轻您准备测试数据的负担。无锁结构变更 较好地规避因数据库变更导致锁表进而阻塞业务的...
拥有提交数据变更、库表同步工单的权限(非直接变更)。导出 指拥有提交数据导出工单的权限(非直接导出)。不同用户角色进行权限管理的方法 普通用户:DMS中的普通用户(除开启了用户访问控制的用户)可以通过工单申请某个资源的操作权限...
AnalyticDB for MySQL 支持导入RDS MySQL、MongoDB、OSS、MaxCompute、Kafka等多种数据源至数据仓库或数据湖中,各数据源支持的导入方案也不同,您可以参考本文档,选择...也支持通过异步方式提交数据导入任务,详情请参见 异步提交导入任务。
说明 若规范设置中已开启下载审批,您需提交 数据下载申请 后才可进行下载。审批通过后,您可查看审批任务、当前运行结果或在运行记录中下载数据。更多信息,请参见 数据下载配置。若您已开启数据下载审批水印功能,下载的Excel文件中将...
检查影响行数失败,语法检查失败 Hologres使用BEGIN和END语句提交数据变更在DMS显示成功,但实际变更失败,该如何处理?安全托管 安全托管和安全协同存在哪些功能差异?实例开启安全托管前后有什么不同?如果不需要细粒度的权限管控,只想...
本文将向您介绍DTS帮助文档中相关名词和术语的解释。...每次客户端消费并提交数据更新时,DTS都会将最新的提交时间标记为消费时间点。如果客户端停止响应,DTS会自动从消费时间点恢复,将数据更新发送给下一个健康的消费节点。
本文将为您介绍如何导出表结构、SQL查询结果集、整个数据库。前提条件 数据库关联的安全规则已开启 结果集是否支持导出 规则...重要 请在工单执行完成后的24小时内下载导出文件,否则导出链接将会失效,届时您需要重新提交数据导出工单。
本文档旨在介绍如何通过提交数据归档工单实现归档数据。原理介绍 前提条件 归档的表中必须包含主键。注意事项 前置条件:OceanBase 数据源必须通过 OBproxy 连接(暂不支持对直连的 OceanBase 进行归档操作)。OceanBase Oracle 到 ...
TableTunnel接口限制 Block ID的取值范围是[0,20000),单个Block上传的数据限制为100GB。Session用Session ID来标识。Session的超时时间为24小时。如果大批量数据传送导致超过24小时,需要自行拆分成多个Session。RecordWriter对应的...
PutStartBackup 该接口用于提交数据备份任务。SetBackupPolicy 该接口用于设置备份策略。EnableSqlFlashbackMatchSwitch 该接口用于执行 PolarDB-X 1.0 数据库使用存储资源RDS的BINLOG中的QUERY信息,精确恢复数据 DescribeBackupSets 该...
为了维护云数据库ClickHouse集群的运行和管理,建议您限制 ClickHouse 集群中数据库和表的数量。这些可以使您在保持服务性能和管理效率的同时,对其数据库架构进行合理的规划。本文介绍ClickHouse集群中数据库和表的数量限制建议。云数据库...
已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页,单击顶部...
已提交实例是对周期任务发起立即运行补数据操作或待提交实例生成的可运行实例。您可以对已提交实例执行重跑、终止、置为成功继续调度、暂停或恢复等操作。本文为您介绍如何查看并管理已提交实例。已提交实例 入口 在Dataphin首页,单击顶部...
本产品(大数据开发治理平台 DataWorks/2020-05-18)的OpenAPI采用 RPC 签名风格,签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK,开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能...
查看已生成实例列表 补数据实例运维列表页面展示当前 补数据名称-业务日期、补数据状态、补数据任务、补数据提交人、业务日期、提交时间、运行时长、节点数 及支持的操作。已生成实例的单个已生成实例包括三层,如下图所示。区域 描述 ① ...
导入并提交:导入数据,并将最新导入的数据提交一个新的版本。批量导入仅支持导入.xlsx 格式文件,每次最多可导入30000条数据,并且文件大小不超过10MB。查看导入结果。在 完成 页签,您可查看导入结果详情。单击详情列表修饰词后的 更多...
如下为各任务节点执行时长限制说明:任务节点类型 任务节点名称 执行时长限制 数据集成 DTS数据迁移 大约14小时。离线数据集成 大约8小时。数据加工 单实例SQL 大约14小时。循环SQL 单个批次SQL大约14小时,整体受任务流执行总时长18小时...
本文为您介绍如何将 OceanBase 数据库 MySQL 租户(简称为 OB_MySQL)的数据同步至 OceanBase 数据库 MySQL 租户。前提条件 数据传输已具备云资源访问权限。详情请参见 数据传输迁移角色授权。已为 OceanBase 数据库创建专用于数据同步项目...
数据库自治服务DAS 为 RDS SQL Server 提供空间管理功能,可以分层监控与分析,从实例深入到数据库,再从数据库深入到表,帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化...
自治服务的空间管理功能提供分层的监控与分析,从实例深入到数据库,再从数据库深入到表,帮助用户发现和定位数据库空间相关问题。空间管理提供您查看实例基本信息、空间总览、空间数据图表信息、空间变化趋势等等,帮助您从各个维度了解...
本文为您介绍如何使用数据传输同步 OceanBase 数据库的数据至 RocketMQ。背景信息 消息队列 RocketMQ 是阿里云基于 Apache RocketMQ 构建的低延迟、高并发、高可靠的分布式消息中间件。数据传输的数据同步功能可以帮助您实现 OceanBase ...
本文为您介绍如何同步 OceanBase 数据库 MySQL 租户的数据至云原生数据仓库 AnalyticDB MySQL 版。背景信息 AnalyticDB MySQL 版的基本介绍请参见 基础数据类型。AnalyticDB MySQL 版的建表、分区表和分布表的详情请参见 CREATE TABLE。...
导入状态:导入并保存:仅导入并保存数据,不生成新的版本 导入并提交:导入数据,并将最新导入的数据提交一个新的版本 批量导入仅支持导入.xlsx格式文件,每次最多可导入30000条数据,并且文件大小不超过10MB。查看导入结果。在 完成 页签...
使用限制 数据传输仅支持 Kafka 数据源作为数据同步的目标端。背景信息 数据传输的安全问题,贯穿服务连通性验证、链路创建和数据传输过程。基于 Kafka 服务提供的安全体系,数据传输在数据加密和用户认证上均有一定的支持,以满足绝大部分...
本文为您介绍如何使用数据传输迁移 OceanBase 数据库 Oracle 租户的增量数据至 MySQL 数据库。重要 如果数据迁移项目长期处于非活跃状态(项目状态为 失败、已暂停 或 已完成),受增量日志保留时长等影响,项目可能无法恢复。数据传输将...
使用限制 数据源所在的集群和运行工作流时选择的集群需要在同一VPC下。创建数据源 进入数据源中心页面。使用阿里云账号(主账号)或RAM用户登录 E-MapReduce控制台。在左侧导航栏,选择 EMR Workbench>Workflow。在Workflow页面,单击目标...
背景信息 Kafka 是目前广泛应用的高性能分布式流计算平台,数据传输支持 OceanBase 数据库两种租户与自建 Kafka 数据源之间的数据实时同步,扩展消息处理能力,广泛应用于实时数据仓库搭建、数据查询和报表分流等业务场景。前提条件 数据...
使用限制 数据同步:支持且仅支持结构化(例如RDS、DRDS等)、半结构化、无结构化(OSS、TXT等,要求具体同步数据必须抽象为结构化数据)的数据的同步。即数据集成仅支持传输能够抽象为逻辑二维表的数据同步,不支持同步OSS中存放完全非...