任务编排中的跨库Spark SQL节点，主要针对各类跨库数据同步和数据加工场景，您可以通过编写Spark SQL，完成各种复杂的数据同步或数据加工的任务开发。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、...
情况名称可以被写成大写或小写形式（注意PL/SQL不识别警告（与错误不同）情况名称，它们是类别 00、01 和 02）。对于某些类型的错误，服务器会报告与错误相关的数据库对象（一个表、表列、数据类型或约束）的名称。例如，导致一个 unique_...
执行动态命令 很多时候你将想要在PL/SQL函数中产生动态命令，也就是每次执行中会涉及到不同表或不同数据类型的命令。PL/SQL通常对于命令所做的缓存计划尝试在这种情境下无法工作。要处理这一类问题，需要提供 EXECUTE 语句：EXECUTE ...
DDL：低风险 全表更新：高风险 大请求：中风险 SQL注入 通过在Web表单、域名或页面请求中插入SQL命令，以欺骗服务器执行非法SQL，从而危害数据库安全。说明 DAS会持续不断地监控和识别数据库中是否存在SQL注入的情况，并且发现访问来源。高...
创建影子表时，如果表名已存在但表结构不同，则会生成同步 SQL 语句，更新影子表结构。新建影子表同步 示例：在数据源 mysql410 下数据库 odc_test 中创建影子表 employee_t。信息项 示例值 所属数据源 mysql4.2.0 数据库名称 odc_test 源...
创建RDS SQL Server实例后，暂时还无法访问该实例，您需要设置RDS SQL Server实例的白名单，即IP白名单或安全组，本文介绍如何设置IP白名单。其他引擎设置白名单请参见：MySQL设置白名单 PostgreSQL设置白名单 MariaDB设置白名单 操作场景 ...
cities 表中插入两组数据 sql="insert into cities values(1,'hangzhou'),(2,'shanghai')"cur.execute(sql)#查询 cities 表中的所有数据 sql='select*from cities' cur.execute(sql)ans=cur.fetchall()print(ans)#删除表 cities sql='drop ...
服务器端函数 下表中列出了为从SQL操纵大对象定制的服务器端函数。面向 SQL 的大对象函数 函数 描述 例子 lo_from_bytea(loid oid,data bytea)→oid 创建一个大对象并在其中存储 数据。如果 loid 为0，则系统将选择一个空闲OID，否则该OID...
本文介绍如何开启TDE，并在两种不同加密场景下如何将开启了TDE的SQL Server数据库从阿里云RDS恢复到本地环境中。同时，若您开启TDE时使用了用户自带密钥的加密方式，也可参考本文场景二方案使用您自己配置的证书和密码恢复备份数据。TDE...
z 对备份的文件在传输时进行压缩处理 工作模式 Rsync有以下六种不同的工作模式：拷贝本地文件，将/home/coremail 目录下的文件拷贝到/cmbak 目录下。rsync-avSH/home/coremail/cmbak/拷贝本地机器的内容到远程机器。rsync-av/home/coremail...
不同操作系统的配置示例如下所示：配置示例一：为Windows服务器排除不迁移的文件或目录 系统盘 待排除的文件或目录：C:\MyDirs\Docs\Words C:\MyDirs\Docs\Excels\Report1.txt 在 rsync_excludes_win.txt 中添加内容：/MyDirs/Docs/Words/...
对于Tableau Server，请将TDC文件拷贝至Tableau Server的每个服务器节点的如下文件夹中：Windows：ProgramData\Tableau\Tableau Server\data\tabsvc\vizqlserver\Datasources。Linux：/var/opt/tableau/tableau_server/data/tabsvc/...
参数名称 参数类型 参数位置 是否必填 示例值 默认值 描述 var INT QUERY 是 1 1 排序方式 返回参数：参数名称 参数类型 示例值 col01 STRING shortname col02 STRING name 示例2：通过条件控制查询不同的数据表 示例使用动态SQL查询语句，...
说明 查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息？无主键和无唯一约束的表可能出现重复数据，若需要保留无主键或无唯一约束的表，则不建议使用此方案。DTS使用fn_log函数拉取和解析日志，该函数稳定...
说明 查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息？无主键和无唯一约束的表可能出现重复数据，若需要保留无主键或无唯一约束的表，则不建议使用此方案。DTS使用fn_log函数拉取和解析日志，该函数稳定...
本文主要介绍轻量数据库服务的简介、应用场景、优势、计费、使用限制等信息。简介 轻量数据库服务基于阿里云自研的关系型数据库RDS（Relational Database Service），具有...慢日志 数据库中执行时间超过1秒的SQL语句，并进行相似语句去重。
本文介绍如何通过日志服务控制台创建Logtail采集配置来采集SQL Server查询结果。前提条件 已在服务器上安装Linux Logtail 0.16.0及以上版本或Windows Logtail 1.0.0.8及以上版本。具体操作，请参见 安装Logtail（Linux系统）或 安装Logtail...
配置完成业务流程后，在EMR Spark SQL节点中利用Spark SQL函数对 ods_raw_log_d_spark 表进行切分处理，从而通过对切分后的日志表与用户表进行关联成新的明细表之后进一步对数据表进行清洗、处理操作后，从而实现对不同用户的一个用户画像...
Spark对Paimon表的读写基于Catalog，根据不同场景可以有以下两种选择：使用Paimon Catalog（仅限于查询和写入Paimon表，同时支持自定义元数据类型，目前支持以下三类）。DLF 元数据保存在DLF中。spark.sql.extensions org.apache.paimon....
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。若在 对象配置 阶段将 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步（混合式日志解析），则DTS的增量...
SQL模式是基于Dataphin逻辑表，编写SQL语句创建API。本文为您介绍如何使用SQL模式生成API。前提条件 MaxCompute计算引擎支持逻辑表创建API，需完成以下步骤：基于逻辑表生成API的场景中，需要完成逻辑表（维度逻辑表、事实逻辑表和汇总逻辑...
SQL模式是基于Dataphin逻辑表，编写SQL语句创建API。本文为您介绍如何使用SQL模式生成API。前提条件 MaxCompute 和AnalyticDB For PostgreSQL 计算引擎支持逻辑表创建API，需完成以下步骤：基于逻辑表生成API的场景中，需要完成逻辑表...
说明 不同搜索条件之间为 与 的关系。筛选项及说明 筛选项 说明 审计ID 唯一标识审计记录的ID。每条SQL报文对应唯一的审计ID。输入多个值时请使用半角逗号（,）分隔。会话ID 唯一标识会话记录的ID。SQL模板ID 要查询的SQL模板的ID。资产 要...
不同的监控指标可以应用的预警条件不同，监控指标与预警指标的对应关系如下表所示：监控指标 预警条件 调用缓存服务-cal 缓存源、LDC 总量、IDC 总量、应用总量、服务器、应用实例 调用 DB 服务-dal 应用总量、LDC 总量、IDC 总量、数据源...
如果同步的源数据库类型为SQL Server，如自建SQL Server、RDS SQL Server，您需要在配置具体的同步任务前，参考本文的注意事项及限制，以保障数据同步任务的正常运行。源库为SQL Server的同步方案概览 根据同步方案，查看同步任务的注意...
告警套餐名称 自定义告警时区 告警等级 不同的监控指标可以应用的告警条件不同，监控指标与告警指标的对应关系如下表所示：监控指标 告警条件 调用缓存服务-cal 缓存源、LDC 总量、IDC 总量、应用总量、服务器、应用实例 调用 DB 服务-dal ...
错误码格式 PolarDB PostgreSQL版 服务器发出的所有消息都遵循SQL标准对“SQLSTATE”码的约定，被赋予一个5个字符的错误码。如果应用程序想要判断发生了什么错误，应该检查返回消息的错误码，而非检测消息的文本。不同发布版本之间的错误码...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。若在 对象配置 阶段将 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步（混合式日志解析），则DTS的增量...
本文介绍如何使用数据传输服务DTS（Data Transmission Service），将Amazon RDS SQL Server全量迁移至阿里云RDS SQL Server。前提条件 为保障DTS能够通过公网连接至Amazon RDS SQL Server，需要将Amazon SQL Server的 公开可用性 设置为 是...
Oracle以二维表的形式表示数据，并提供了结构化查询语言（SQL），可完成数据查询、操作、定义和控制等基本的数据库管理功能。Oracle具有很好的可移植性，通过它的通信功能，微型计算机上的程序可以与小型乃至大型计算机上的Oracle相互传递...
您在创建数据迁移或数据同步任务时，指定需要迁移或同步的对象后，数据传输会自动过滤不支持的表，可能会导致识别出的表数量和实际需要迁移或同步的表数量不一致，您可以通过本文的 SQL 语句进行查询。查询表的基本信息 不同数据源类型查询...
阿里云轻量应用服务器主要提供三种镜像：应用镜像、系统镜像和自定义镜像，在创建轻量应用服务器时，您可根据实际需求，选择对应的镜像。本文为您介绍轻量应用服务器支持镜像的类型及其具体镜像名称、镜像版本等信息。镜像类型 阿里云轻量...
步骤一：创建数据表 使用远程登录工具登录EMR Header服务器。执行以下命令，启动SQL客户端。SQL客户端用于批流的SQL计算，其中emr-datasources_shaded_*.jar为准备工作中下载的EMR最新版SDK包。streaming-sql-driver-class-path emr-...
MaxCompute控制台提供SQL分析，方便您快速执行SQL语句操作。本文为您介绍如何通过SQL分析使用MaxCompute服务。概述 您开通MaxCompute后，在控制台创建项目后即可直接通过SQL分析快速编辑并执行SQL。您可以通过SQL分析快捷使用MaxCompute...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。若在 对象配置 阶段将 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步（混合式日志解析），则DTS的增量...
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连数据源模式生成API。权限说明 支持服务的项目管理员和开发用户可以生成API。使用说明 在API调用时，若数据源本身支持分页，且API请求方式为List，则无论是否开启分页...
直连数据源模式是通过SQL直接从数据源创建API。本文为您介绍如何使用直连数据源模式生成API。权限说明 支持服务的项目管理员和开发用户可以生成API。使用说明 在API调用时，若数据源本身支持分页，且API请求方式为List，则无论是否开启分页...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息？如需跨版本迁移，请提前确认兼容性。为保障增量数据迁移延迟的准确性，解析源端日志做增量同步模式，DTS会在源库中新增一个名为dts_log...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。若在 对象配置 阶段将 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步（混合式日志解析），则DTS的增量...
说明 相关表信息的查看方法，请参见 如何查看SQL Server中堆表、无主键表、压缩表、含计算列的表信息。若在 对象配置 阶段将 SQLServer增量同步模式 选择为 非堆表用日志解析增量同步，堆表用CDC增量同步（混合式日志解析），则DTS的增量...