数据管理DMS 的SQL审核功能，支持对上传的SQL语句进行审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。前提条件 数据库类型如下：RDS MySQL、PolarDB MySQL版...上传文件示例 MyBatis示例文件 iBatis示例文件 txt示例文件
与自定义的标量函数类似，但与标量函数不同。表值函数可以返回任意数量的行作为输出，而不仅是1个值。返回的行可以由1个或多个列组成。调用一次函数输出多行或多列数据。详情参见 User-defined Functions。UDTF开发 说明 Flink为您提供了...
UTL_ENCODE内置包提供了一组进行数据编解码的函数，方便数据在不同主机之间的传输。UTL_ENCODE子程序总览 子程序 描述 BASE64_DECODE Function 读取BASE64编码的RAW类型输入数据，并将其解码为原始的RAW类型数据。BASE64_ENCODE Function ...
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
FTP输入组件适用于从FTP中将数据读取至大数据平台对接的存储系统内，进行数据整合和再加工。本文为您介绍如何配置FTP输入组件。前提条件 已创建FTP数据源，详情请参见 创建FTP数据源。进行FTP输入组件属性配置的账号，需具备该数据源的同步...
选择Dataphin系统已配置的数据源，且数据源需同时具备以下两个条件：数据源的类型与输出组件的类型一致。执行 属性配置 的账号具有该数据源的同步写权限，如果没有权限，则需要申请数据源权限，详情请参见 管理数据源权限。同时您也可以...
0：成功 Data String 1 上传数据文件返回信息 Message String SUCCESS 上传数据文件返回消息 RequestId String fwer-42faf-faer-4fasdf 唯一请求标识 示例 请求示例 http(s):/[Endpoint]/?Action=UploadFile&CorpId=AFHOFD24HOH77&...
其输入与输出是多对一的关系，即将多条输入记录聚合成一条输出值。详情参见 User-defined Functions。说明 User-defined Functions 和下文中的 ASI_UDX_Demo 属于第三方搭建的网站，访问时可能会存在无法打开或访问延迟的问题。UDAF开发 ...
本文为您介绍Python SDK中操作MaxCompute资源相关的典型场景操作示例。背景信息 MaxCompute中的资源常用在UDF和MapReduce中。基本操作如下：list_resources()：列出该项目空间下的所有资源。exist_resource()：判断资源是否存在。delete_...
本文介绍 云数据库 SelectDB 版 与Hudi数据源进行对接使用的流程，帮助您对Hudi数据源进行联邦分析。注意事项 Hudi表支持的查询类型如下。表类型 支持的查询类型 Copy On Write Snapshot Query+Time Travel Merge On Read Snapshot Queries...
如果未开启归档直读，归档类型的Object需要解冻后才能读取。冷归档、深度冷归档不支持开启直读，冷归档、深度冷归档类型的Object需要解冻后才能读取。归档类型Object完成解冻通常需要数分钟。冷归档类型Object完成解冻通常需要数小时。深度...
使用示例./ossutil64 inventory-method list oss:/examplebucket localfile.txt dest 以下输出结果表明已成功查询examplebucket下与dest前缀匹配的文件包含的所有清单规则，并将清单结果写入本地localfile.txt文件。0.216897(s)elapsed ...
本文介绍创建数据流和配置的方法。前提条件 支持的数据库类型：MySQL：RDS MySQL、PolarDB MySQL版、MyBase MySQL、PolarDB分布式版、AnalyticDB MySQL 3.0、其他来源MySQL SQL Server：RDS SQL Server、MyBase SQL Server、其他来源SQL ...
同步HBase数据源的数据至其他数据源的场景中，您需要先配置HBase输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置HBase输入组件。前提条件 在开始执行操作前，请确认您已完成以下操作：已创建HBase数据源。具体...
步骤一：数据准备 准备用于数据读取的文本文件，将文本文件上传至OSS。本文示例的文本文件名为 readme.txt。具体操作，请参见 上传文件。云原生数据仓库AnalyticDB MySQL版 数据库产品 编写Python程序，将Python程序上传至OSS。本文示例的...
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
IO：数据文件读写时间、日志文件写入时间、逻辑读取、物理读取、物理异步读取等。Object statistics使用方法 确认参数 OPT_TABLESTAT 和 OPT_INDEXSTAT 的值为 ON。示例如下：mysql>show variables like"opt_%_stat;Variable_name|Value|+-...
功能介绍 功能描述 相关文档 数据集成离线同步，通过读取插件与写入插件实现数据的读取与写入，并且支持在DataWorks新建数据源，通过数据源名称决定同步数据的来源与去向。支持的数据源与读写插件 离线同步能力说明 在DataWorks新建数据源...
本文将介绍如何使用 HikariCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 hikaricp-mysql-client 示例工程 前提条件 您已安装 OceanBase...
二级索引相当于把数据表的主键查询能力扩展到了不同的列，当需要使用属性查询数据时，您可以通过创建二级索引加快数据查询的效率。设置预定义列后，在创建二级索引时将预定义列作为索引表的索引列或者属性列。创建二级索引后，您可以使用二...
文件级：使用符号*作为数据文件名占位符，例如，/ftpuser/test/*.flg，将会为每一个数据文件生成一个同名的标记完成文件。选择 需要 时，还需要配置 标记完成文件内容。可支持配置的文件信息参数包括：文件名：$filename。带路径的文件名：...
文件级：使用符号*作为数据文件名占位符，例如，/ftpuser/test/*.flg，将会为每一个数据文件生成一个同名的标记完成文件。选择 需要 时，还需要配置 标记完成文件内容。可支持配置的文件信息参数包括：文件名：$filename。带路径的文件名：...
通过创建TDH Inceptor数据源能够实现Dataphin读取TDH Inceptor的业务数据或向TDH Inceptor写入数据。本文为您介绍如何创建TDH Inceptor数据源。使用限制 Dataphin仅支持 超级管理员、数据源管理员、板块架构师、项目管理员 角色创建数据源...
UDF开发示例 UDF示例：兼容Hive UDF示例：复杂数据类型 UDF示例：使用正则表达式替换字符串 UDF示例：获取字符串（不含分隔符）Value UDF示例：获取字符串（含有分隔符）Value UDF示例：引用文件资源 UDF示例：引用表资源 UDF示例：Python ...
连接Lindorm Ganos，定义Schema，创建时空索引表，读取示例数据并写入。PWRITER：多线程写入。连接Lindorm Ganos，定义Schema，创建时空索引表。指定线程数，每个线程随机生成指定范围内的n个AIS点，写入已创建的表中。需通过JSON文件指定...
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
为数据表创建二级索引后，您可以使用索引表、查看索引表信息、使用索引表查询数据以及删除索引表。前提条件 已创建数据表，且数据表的最大版本数（max Versions）必须为1。已为数据表创建预定义列。创建二级索引 说明 二级索引包括全局二级...
元表是通过数据管理的跨存储类型表，开发过程中所用到的输入表、输出表、维表可以通过创建元表进行创建和管理。本文为您介绍如何新建元表。功能优势 元表具有以下优势：安全可靠：通过元表可以有效避免直接编写原生Flink DDL语句导致的敏感...
本章节主要介绍如何...CSV文件 JSON文件 Parquet文件 ORC文件 文本文件 外部数据源 Databricks数据洞察读取外部数据源时要求配置其与数据源实例的网络连接。OSS EMR HDFS MySQL Redis MaxCompute Tablestore MongoDB ElasticSearch JindoFS
本文以JindoCache支持阿里云OSS-HDFS透明缓存加速的使用方式为例，利用集群本身的存储资源缓存OSS-HDFS文件，以加速作业对OSS-HDFS的访问。前提条件 已创建集群，且选择了JindoCache服务，创建集群操作请参见 创建集群。已开通并授权访问...
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
MaxCompute支持创建OSS外部表为分区表，访问OSS上以分区方式存储的数据，通过该方式可降低读取数据量并提升数据处理效率。本文为您介绍MaxCompute支持的OSS标准分区路径格式和自定义分区路径格式。背景信息 创建OSS外部表后，MaxCompute会...
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。本文中的命令您可以在如下工具平台执行：MaxCompute客户端 使用SQL分析连接 使用云命令行（odpscmd）连接...
权限名称（Action）权限说明 oss:PutObject 上传文件或文件夹对象 oss:GetObject 获取文件或文件夹对象 oss:ListObjects 查询文件列表信息 oss:DeleteObjects 删除对象 TensorFlow读取OSS数据的方法：低效的IO方式 本地执行TensorFlow代码...
本文将介绍如何使用 Commons Pool、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入数据、更新数据、删除数据、查询数据和删除表等。点击下载 commonpool-mysql-client 示例工程 前提条件...
数据集成RestAPI Reader插件提供了读取RESTful接口数据的能力，通过配置HTTP请求地址，可获取RestAPI类型的数据源数据（例如获取时间范围内的数据、获取分页数据、循环请求参数获取数据等），并转换为数据集成支持的数据类型，传递给下游...
如上述示例文件切分到2个引擎时：第1个文件内容为：id,name 1,ali 2,pts 第2个文件内容为：id,name 3,jmeter 不含文件头的CSV文件切分 如果CSV文件不包含文件头（第一行即为CSV数据），例如，文件“b.csv”内容如下：1,ali 2,pts 3,jmeter ...
如上述示例文件切分到2个引擎时：第1个文件内容为：id,name 1,ali 2,pts 第2个文件内容为：id,name 3,jmeter 不含文件头的CSV文件切分 如果CSV文件不包含文件头（第一行即为CSV数据），例如，文件“b.csv”内容如下：1,ali 2,pts 3,jmeter ...
MaxCompute SQL支持您在一条SQL语句中通过 insert into 或 insert overwrite 操作将数据插入不同的目标表或者分区中，实现多路输出。前提条件 执行操作前需要具备目标表的修改权限（Alter）及源表的元信息读取权限（Describe）。授权操作请...