以RDD操作为例，直接使用jfs的路径即可：val a=sc.textFile("jfs:/emr-jfs/README.md")写入数据：scala a.collect().saveAsTextFile("jfs:/emr-jfs/output")SparkSQL 创建数据库、数据表以及分区时指定Location到JindoFS即可，SparkSQL处理...
本文介绍日志服务所涉及的术语。基础资源 术语 说明 项目（Project）项目是日志服务的资源管理单元，是进行多用户隔离与访问控制的主要边界。更多信息，请参见 项目（Project）。日志库（Logstore）日志库是日志服务中日志数据的采集、存储...
分区组（Partition Group）AUTO模式数据库中，当表组中的表为分区表时，该表组的所有表的某个分区构成一个分区组，分区组是分区调度的基本单元，属于某个分区组的所有表分区始终会位于同一个存储节点。Join Group AUTO模式数据库中，Join ...
接口说明 使用数据概况需要先将该表的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
接口说明 使用数据概况需要先将该表的 OSS Bucket 进行 Location 托管。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 下表是API对应的授权...
当输入端为MaxCompute表类型时，此时location_type为MaxComputeTable，value包含project、table、endpoint字段，依次分别表示表所属的MaxCompute项目、MaxCompute表名、MaxCompute的endpoint。from pai_notebook.utils.notebook_utils ...
您只需通过一条简单的DDL语句，即可在MaxCompute上创建一张外部表，建立MaxCompute表与外部数据源的关联，提供各种数据的接入和输出能力。MaxCompute表是结构化的数据，而外部表可以不限于结构化数据。表格存储与MaxCompute都有其自身的...
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（即gpossext功能），将数据并行导出到阿里云对象存储OSS，并支持通过GZIP进行OSS外部表文件压缩，大量节省存储空间及成本。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件...
云原生数据仓库AnalyticDB PostgreSQL版 支持通过OSS外部表（gpossext功能），将数据并行从阿里云对象存储OSS导入到 AnalyticDB PostgreSQL。功能介绍 目前gpossext支持读写TEXT、CSV格式的文件以及GZIP压缩格式的TEXT、CSV文件。gpossext...
百分位是统计学术语，用于计算数据表列数据的百分位。一组数据从小到大排序，并计算相应数据的百分位，则某百分位所对应数据的值称为该百分位的百分位数。背景信息 系统仅支持Bigint、Double和Datetime类型的数据计算百分位。计算百分位时...
重要 如果待查询的数据全部保存在OSS上，或者建表语句时指定了Location，则可以不用配置host。Hive的部分表在创建时，会默认指定路径，因此在查询保存在数据集群上的数据时，为了查询时能够读取到这些表，Trino集群的每一台主机都需要配置...
返回信息如下所示，通过 Location 参数可以看到该表指向的路径已经在OSS-HDFS上。col_name data_type comment eid int name string salary string destination string#Detailed Table Information Database:dw Owner:root CreateTime:Fri ...
本文的location均为示例，请您更换为您实际的location。在单元格创建表。spark.sql use db_demo;create table db_bank_demo(age string,job string,marital string,education string,default string,balance string,housing string,loan ...
CREATE TABLE IF NOT EXISTS${hdfsTableName}(col1 dataType[,col2 dataType])USING delta LOCATION '${location}';需要为每个流式查询定义一些运行参数。streaming.query.name:流式查询作业名称。spark.sql.streaming.checkpointLocation....
CREATE TABLE IF NOT EXISTS${hdfsTableName}(col1 dataType[,col2 dataType])USING delta LOCATION '${location}';配置读表的方式，支持STREAM和BATCH，默认为BATCH。CREATE SCAN tmp_read_sls_table ON${slsTableName} USING STREAM;创建...
Lindorm宽表引擎提供PB级存储能力，可以将写入的数据按照主键进行范围分区并均匀分布在每台机器上，同时，Lindorm提供了SQL和索引支持，使用体验上接近于关系型数据库，但Lindorm宽表的底层实际上是基于LSM-Tree存储结构的分布式NoSQL数据...
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
离线物理表可帮助您统一配置与管理计算任务开发过程中用到的离线物理表，提升开发效率。本文为您介绍如何新建离线物理表。使用限制 若您未购买 数据标准 模块，不支持设置表中的 数据标准 字段。若您未购买 资产安全 模块，不支持设置表中...
本文为您介绍MaxCompute在作业并发情况下ACID的语义及Transactional表的ACID语义。相关术语 操作：指在MaxCompute上提交的单个作业。数据对象：指持有实际数据的对象，例如非分区表、分区。INTO类作业：指INSERT INTO、DYNAMIC INSERT INTO...
术语 基表（Base Tables）：指物化视图定义中使用到的普通表。增量（Delta）：指基表的数据发生变化时，与物化视图中的数据相比，增加和删除的数据集合。刷新（Refresh）：指物化视图的维护操作，使得物化视图的数据和根据视图定义查询当前...
术语 基表（Base Tables）：指物化视图定义中使用到的普通表。增量（Delta）：指基表的数据发生变化时，与物化视图中的数据相比，增加和删除的数据集合。刷新（Refresh）：指物化视图的维护操作，使得物化视图的数据和根据视图定义查询当前...
基于同样的原因，HDFS表不支持auto.create.location属性。查询或访问数据。由于只有CU的计算资源和HDFS网络可以联通，因此所有访问HDFS表的SQL语句都需要指定 hint：/*+cluster=your-vc-name*/，这样SQL就会在CU中执行。示例：mysql/*+...
表 表 CreateTable 新增元数据表 新增数据湖的元数据表。DeleteTable 删除元数据表 根据名称删除数据湖的元数据表。DeleteTableColumnStatistics 删除数据表统计信息 回收数据湖中数据表的字段统计信息。DeleteTableVersion 删除元数据表...
基于同样的原因，LindormDFS表不支持auto.create.location属性。查询数据。由于只有CU的计算资源与LindormDFS网络可以连通，因此所有访问LindormDFS表的SQL语句都需要指定 hint：/*+pool-selector=your-vc-name*/，指定后SQL语句会在CU中...
动态文件剪枝（Dynamic File Pruning,DFP）可以大幅改善许多Delta表查询的性能。动态文件剪枝对于未分区的表或者未分区列的join来说更加有效。DFP的性能提升通常还和数据的聚集相关联，可以考虑使用ZOrdering来最大化DFP的性能收益。说明 ...
MaxCompute支持您通过INSERT方式将MaxCompute项目中的数据通过映射的OSS外部表直接输出到OSS目录。本文为您介绍向OSS写入数据的方法并提供示例。背景信息 与读取OSS数据类似，MaxCompute支持将内部表数据或处理外部表得到的数据写入OSS：...
背景信息 MaxCompute Studio支持的表或视图操作如下：创建内部表、外部表或视图 修改内部表或外部表 查看内部表、外部表或视图详细信息 清空表数据或删除分区 删除内部表、外部表或视图 创建内部表、外部表或视图 在IntelliJ IDEA界面的...
您只需要复制 ddl-tpcds/text/alltables.sql 中的建表语句，然后修改${LOCATION} 即可。[root@cdh-master hive-testbench]#impala-shell-i cdh-slave01-d default Starting Impala Shell without Kerberos authentication Connected to cdh...
举一个简单的例子，假设一张表包含10个表文件，对于表中的x列，它的取值为[1,10]，如果每个表文件的x列的分布均为[1,10]，则对于查询条件：where x 3，无法跳过任何一个表文件，因此，也无法实现性能提升，而如果每个表文件的min-max均为0...
在HBase中，数据存储在具有行和列的表中，这是与关系数据库（RDBMS）类似的模型，但与之不同的是其具备结构松散、多维有序映射的特点，它的索引排序键由行+列+时间戳组成，HBase表可以被看做一个“稀疏的、分布式的、持久的、多维度有序Map...
此外MaxCompute写入到OSS外部表的数据，会存储在LOCATION目录下的.odps 文件夹中，并维护了一个.meta 文件，用于保证MaxCompute数据的一致性。odps 文件夹中的内容只有MaxCompute能正确处理，其他引擎读取可能报错。MaxCompute新增 odps....
Iceberg表支持COMMENT、PARTITIONED BY、LOCATION和TBLPROPERTIES等语法。如果通过TBLPROPERTIES设置表级别属性，代码示例如下。CREATE TABLE IF NOT EXISTS catalog_name.iceberg_db.sample(id BIGINT COMMENT 'unique id',data STRING)...
功能说明 元数据分析 Location分析 元数据分析 资源总计 总存储量及月/日变化：元数据管理下的表的总存储量（仅包括OSS类型存储，不包括hdfs存储）。总表数量及月/日变化：元数据管理中所有表的总数量 总库数量级月/日变化：元数据管理中...
因为升级后，BE的默认Tag为"tag.location":"default"，而表的默认副本分布为"tag.location.default:xx。所以如果直接修改BE的Tag，系统会自动检测到副本分布的变化，从而开始数据重分布，这可能会占用部分系统资源。您可以在修改Tag前，先...
virtual_table_location_cache_expire_time 虚拟表的位置信息缓存过期时间。location_cache_refresh_min_interval 位置缓存刷新请求的最小间隔，防止产生过多刷新请求造成系统压力过大。clog_transport_compress_func 事务日志内部传输时...
功能说明 在数据表详情的数据概况标签页，基于对元数据及存储数据的统计，为您提供了数据表更加详细的指标信息，比如表存储大小、表文件总数、DDL最后更新时间、数据最后更新时间、访问次数、分区存储大小、分区文件数、分区最后更新时间等...
如果您需要将外部存储上的数据导入MaxCompute的表或表的分区中，可以通过LOAD命令实现该操作。本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute...
如果您需要将外部存储上的数据导入MaxCompute的表或表的分区中，可以通过LOAD命令实现该操作。本文为您介绍如何使用LOAD命令将外部存储上的CSV格式或其他开源格式数据导入MaxCompute。本文中的命令您可以在如下工具平台执行：MaxCompute...
表空间用于在文件系统上定义另一个位置，可以把包含数据库对象（例如表和索引）的数据文件放在那里，并且可以把 tablespace_name 传递给 CREATE DATABASE、CREATE TABLE、CREATE INDEX 或者 ADD CONSTRAINT 来让这些对象的数据文件存储在...
format][STORE AS file_format]|STORED BY 'storage.handler.class.name'[WITH SERDEPROPERTIES(.)]LOCATION oss_path 说明 详细的建表说明见 用户指南部分。数值类型 TINYINT，1 byte 有符号整数，-128至127。SMALLINT，2 byte 有符号整数...