表格存储 提供了单行读取、批量读取、范围读取、迭代读取和并行读取的查询方式用于读取数据表中数据。数据写入到数据表后，您可以选择所需数据查询方式进行数据读取。如果需要了解 表格存储 各场景的应用案例，请参见 快速玩转Tablestore...
本文介绍了使用列存索引功能查询OSS上的外表数据的技术原理和使用方法等内容。背景信息 业务存续期间，随着时间的推移，数据的规模不断增加导致存储成本上升。用户在应对激烈的市场竞争时，业务逻辑也在不断地发生变化，对应计算分析的复杂...
本文将介绍如何使用 DBCP 连接池、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入、删除、更新和查询数据等。点击下载 dbcp-mysql-client 示例工程 前提条件 您已安装 OceanBase 数据库...
说明 由于集群规模、实际数据分布等因素都会影响输出的文件数，因此控制输出的文件数比较复杂。只有CU版本才支持输出文件数的相关配置。支持基于.gz压缩的数据吗？支持。目前支持GZIP和SNAPPY两种压缩算法。能同时处理相同目录下的压缩文件...
您可以通过 replication 命令管理数据复制（包括同区域和数据复制）规则配置。规则配置完成后，OSS会根据指定规则将源Bucket内的Object复制到相同或不同区域的目标Bucket。注意事项 要添加复制规则或开启RTC，您必须具有 oss:...
数据管理DMS 的SQL审核功能，支持对SQL语句进行批量审核并提供优化建议，避免无索引或不规范的SQL语句，降低SQL注入风险。本文以对XML文件中多个SQL语句进行审核为例，向您展示配置SQL审核规则、审核目标文件中SQL语句的流程。背景信息 在...
任意文件读取 对于网站提供的文件下载和读取功能，如果是直接通过绝对路径或目录穿越符对文件进行读取和下载，没有相关文件路径的限制，那么，攻击者就可以利用这种方式获取敏感信息，对服务器进行攻击。请检查文件读取操作是否正常。如果...
为了保证DataWorks成功读取完整的外部数据库的数据，此时，可以让其他调度系统在数据库中的数据写入任务完成后，在指定文件系统中进行文件标记（例如，生成一个.done 文件），表明该任务已完成。然后在DataWorks中配置一个FTP Check节点，...
AnalyticDB PostgreSQL版 的每个数据分区（Segment）将按轮询方式并行对OSS上的数据文件进行读取。对于CSV和TEXT文件，AnalyticDB PostgreSQL版 支持多文件并行读取，默认并行数为4。文件数量建议为数据节点数（Segment节点数量 X 单个...
文件级：使用号*作为数据文件名占位符，如/ftpuser/test/.flg，将会为每一个数据文件生成一个同名的flg空文件。合并策略 选择输出数据的线程：合并：则所有数据会合并成一个文件，采用单线程输出，大文件输出速度会受影响。重要 合并不支持...
包括：XML 方式 Annotation 方式 编程 API 方式 uniqueId 配置方式 XML 方式 XML 的配置路径是在服务发布和引用类所在模块的 resources/META-INF/spring 下。默认没有 spring 文件夹，需要新建。新建 XML 文件时，所需的 schema 请从 ...
调用GetFolder获取文件夹的详情。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 GetFolder ...
表格存储 提供了GetRow接口用于读取单行数据以及BatchGetRow、GetRange等接口用于读取多行数据。如果需要了解表格存储各场景的应用案例，请参见 快速玩转Tablestore入门与实战。查询方式 表格存储 提供的数据读取接口包括GetRow、...
TairDoc是类似RedisJSON的文档数据结构，支持JSON数据的增删改查。TairDoc简介 主要特性 完整地支持JSON标准。部分兼容 JSONPath RFC draft-4标准。说明 仅JSON.GET命令支持。完整地支持 JSONPointer 语法。文档作为二进制树存储，可以快速...
DTS（Data Transmission Service）的数据订阅功能结合MongoDB或Redis，可以实现高可靠、低延迟的缓存更新策略。本文以源为 RDS MySQL、目标为阿里云数据库Redis版为例，为您介绍缓存更新策略。前提条件 已完成数据订阅通道的配置并新增消费...
本文介绍如何在阿里云OpenAPI开发者门户调用API获取并使用Java SDK示例代码。前提条件 已下载并安装 JDK 1.8 或更高版本，并已经配置Java环境变量。已下载并安装Java开发工具。本文以 IntelliJ IDEA 为例。已获取访问密钥AccessKey。在调用...
本文将介绍如何使用 Spring JDBC 框架、MySQL Connector/J 和 OceanBase 数据库构建一个应用程序，实现基本的数据库操作，包括创建表、插入和查询数据等。点击下载 spring-jdbc-mysql-client 示例工程 前提条件 您已安装 OceanBase 数据库...
并不是所有上传至OSS的数据都需要频繁访问，但基于数据合规或者存档等原因，部分数据仍需要继续以冷存储类型进行保存。或者基于业务使用场景，希望批量删除Bucket内不再需要保存的数据，您可以通过ossutil lifecycle命令配置基于最后一次...
方式三：INSERT OVERWRITE PARTITION 与 INSERT INTO PARTITION 使用方法相同，但使用 INSERT OVERWRITE PARTITION 时，会覆盖掉本次执行中涉及到的目标分区中之前已有的数据文件，对于没有新数据写入的分区，则不会清除其中的数据文件。...
实现方式有 2 种：XML 配置实现 客户端编程 API 实现 XML 配置实现 主要步骤如下：定义扩展点 Bean 定义贡献点描述类 配置扩展 定义扩展点 Bean 定义步骤示例如下：创建一个接口：package com.alipay.sofa.boot.test;public interface ...
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
Node.js Node.js SDK常见问题 Node.js SDK中上传和下载文件的初始化代码及常见报错 对象存储OSS使用Node.js语言实现签名Header上传的示例.NET 使用.NET SDK通过MemoryStream方法上传文件到OSS时大小为空的解决方法.NET异常处理 Browser.js ...
使用限制 FTP Reader实现了从远程FTP文件读取数据并转为数据同步协议的功能，远程FTP文件本身是无结构化数据存储。对于数据同步而言，目前FTP Reader支持的功能如下所示：支持 不支持 支持且仅支持读取TXT的文件，并要求TXT中的schema为...
evaluate 方法的输入参数和返回值的数据类型将作为SQL语句中UDF的函数签名Signature（定义UDF的输入与输出数据类型）。您可以在UDF中实现多个 evaluate 方法，在调用UDF时，MaxCompute会依据UDF调用的参数类型匹配正确的 evaluate 方法。...
使用示例 在本地XML文件中设置Bucket所属资源组。xml version="1.0"encoding="UTF-8?ResourceGroupId>rg-aekz*</ResourceGroupId></BucketResourceGroupConfiguration>为examplebucket设置所属资源组...
在NoteBook实现读取配置文件信息，链接MySQL%spark import java.util.Properties/使用Properties读取配置文件信息 val properties=new Properties properties.load(Thread.currentThread().getContextClassLoader().getResourceAsStream(...
调用CreateFolder创建文件夹。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。请求参数 名称 类型 是否必选 示例值 描述 Action String 是 CreateFolder ...
若集群中某些库表的数据几乎没有更新、插入和修改操作，且读取频率非常低，如果您有降本需求，可以使用 PolarDB MySQL版 提供的冷数据归档功能，将这部分数据转存至低成本的OSS上存储，以降低数据存储成本。本章节介绍了冷数据归档方法、...
表格存储 提供了单行读取和范围读取的查询方式用于读取索引表中数据。当返回的属性列在索引表中时，您可以直接读取索引表获取数据，否则请自行反查数据表获取数据。前提条件 已初始化Client。具体操作，请参见 初始化OTSClient。已创建二级...
问题类别 常见问题 OSS外部表 自定义Extractor在读取非结构化数据时，如果数据字段存在DATETIME类型，报错ODPS-0123131，如何解决？在MaxCompute上访问OSS外部表，编写UDF本地测试通过，上传后报错内存溢出，如何解决？通过外部表处理OSS...
OSS输入组件用于读取OSS数据源的数据。同步OSS数据源的数据至其他数据源的场景中，您需要先配置OSS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前，请确认您已完成以下...
OSS输入组件用于读取OSS数据源的数据。同步OSS数据源的数据至其他数据源的场景中，您需要先配置OSS输入组件读取的数据源，再配置数据同步的目标数据源。本文为您介绍如何配置OSS输入组件。前提条件 在开始执行操作前，请确认您已完成以下...
本文介绍 云数据库ClickHouse 22.8版本推出的新特性。日期和时间类型扩展 扩展 Date32 和 DateTime64 类型，将日期支持范围从之前版本的1925年~2283年，扩展到1900年~2299年。日期类型数据精度最大为8位，达到微秒级精度。超出最大时间精度...
您可以通过以下任意一种方式将数据写入OSS中，生成的文件存储在输出目录/model/example.txt：通过 tf.gfile.FastGFile()写入，示例如下。tf.gfile.FastGFile(FLAGS.checkpointDir+'example.txt','wb').write('hello world')通过 tf.gfile....
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，便可以实现MaxCompute SQL对其他脚本语言的支持。功能...
select transform 语法允许您启动一个指定的子进程，将输入数据按照一定的格式通过标准输入至子进程，并且通过解析子进程的标准输出获取输出数据。select transform 让您无需编写UDF，即可实现MaxCompute SQL对其他脚本语言的支持。功能...
core-site.xml、hdfs-site.xml、hive-site.xml、其他配置文件 上传HDFS配置文件core-site.xml和hdfs-site.xml及hive的hive-site.xml文件。若存在其他配置文件，您可在其他配置文件处进行上传。认证方式 如果ARGODB集群有Kerberos认证，则...
为了保证数据或文件的不变性，我们提供了一个应用示例程序，将文件存储在OSS上，并在Hyperledger Fabric上记录文件的哈希值。该示例程序基于Hyperledger Fabric Go SDK，运行示例程序前请确保Go开发环境已经正确配置。具体配置方法可以参考...
Map/Reduce Map和Reduce分别支持对应的map/reduce方法、setup方法及cleanup方法。setup方法在map/reduce方法之前调用，每个Worker调用且仅调用一次。cleanup方法在map/reduce方法之后调用，每个Worker调用且仅调用一次。相关的使用示例请...
写入数据 本段介绍如何使用 SDK 写入数据。操作前提是您已创建出 TSDB 对象。Point 类为 TSDB 的时间点类。您可以使用 TSDB 对象的 put 方法将 Point 数据写入 TSDB 数据库。示例代码 每秒写入一个 Point（时间点）数据：package ...