示例1：表中有3列 c1,c2,c3，源文件中的3列依次对应的是 c3,c2,c1，则需要指定-H"columns:c3,c2,c1。示例2：表中有3列 c1,c2,c3，源文件中前3列与表中的列一一对应，但是还有多余1列，则需要指定-H"columns:c1,c2,c3,temp"，最后1列随意...
基本原理与方法 分区信息剪枝 IMCI的分区剪枝技术是指在查询时根据分区键的条件来过滤不需要查询的分区，从而减少查询的数据量和提高查询效率的技术。IMCI支持的分区类型包括RANGE、LIST、HASH三种。其中，RANGE和LIST分区会把数据表分成...
附录1：数据导出语法（普通外表）若创建外表时未指定分区列，您可以根据业务需要选择如下几种方式导出数据：方式一：如果您的数据已存在于目标表中，可以通过 INSERT INTO 语句将数据导入外表。使用该语句会将源表的数据写入外表对应的HDFS...
NULL相关（isnull，notnull，fillna）DataFrame API提供了几个和NULL相关的内置函数，例如 isnull 用于判断某字段是否为NULL，notnull 用于判断某字段是否为非NULL，fillna 用于将NULL填充为您指定的值。iris.sepallength.isnull().head(5)...
shop_name|customer_id|total_price|sale_date|region|+-+-+-+-+-+|s1|c1|100.1|2013|china|s2|c2|100.2|2013|china|s3|c3|100.3|2013|china|null|c5|NULL|2014|shanghai|s6|c6|100.4|2014|shanghai|s7|c7|100.5|2014|shanghai|+-+-+-+-+-+...
修复SSH服务所需的关键文件或目录的方法，请参见 检查Linux实例是否存在SSH服务所需的必备文件或目录。SSH是否允许root用户登录检查 检查SSH配置是否允许root用户连接。检查SSH配置是否允许root用户连接。如果禁止使用root用户登录实例，会...
以此来判断是否需要做冷热数据转换，详细查询语句如下：非分区表 select a.table_name,(a.total_read_count-b.total_read_count)as read_count,(a.total_write_count-b.total_write_count)as write_count,a.hot_storage_size from(Select*...
[realms].realm名称 需要与JAAS配置文件中指定客户端principal所在realm，以及[libdefaults].default_realm一致，如果JAAS配置文件中指定客户端principal所在realm和[libdefaults].default_realm不一致，则需要包含两组realms子模块分别...
用户可以通过云监控或者块存储数据洞察（CloudLens for EBS）来监控云盘的性能数据，以判断当前所购买的云盘类型是否满足业务需求。关于云监控和CloudLens for EBS的更多信息，请参见 云产品监控 和 什么是块存储数据洞察。阿里云块存储...
是-c"<condition>"|-fullTable-fullTable 和-c"<condition>"只需提供一个，即要么指定-c"<condition>"，要么指定-fullTable。指定-fullTable 时，则为归档整表，既可以是非分区表也可以是分区表。指定-c"<condition>"时，则提供了一个过滤...
是-c"<condition>"|-fullTable-fullTable 和-c"<condition>"只需提供一个，即要么指定-c"<condition>"，要么指定-fullTable。指定-fullTable 时，则为归档整表，既可以是非分区表也可以是分区表。指定-c"<condition>"时，则提供了一个过滤...
增量源表独有 增量源表通过间歇轮询MaxCompute服务器获取所有的分区信息来发现新增的分区，读取新分区时要求分区内数据已写入完毕，详情参见 增量MaxCompute源表监听到新分区时，如果该分区还有数据没有写完，如何处理？通过startPartition...
} 方法 Range.Item()通过 Item()方法，您可以获取指定区域中的指定位置。语法 表达式.Range.Item({ RowIndex,ColumnIndex })表达式：文档类型应用对象 参数 属性 数据类型 是否必填 描述 RowIndex Number 是 子范围的索引或相对行号。如果...
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
MoveTo命令可以实现表和分区数据的迁移功能。本文为您介绍MoveTo命令的使用方法。前提条件 本地安装了Java JDK 8。已创建集群，详情请参见 创建集群。背景信息 MoveTo命令可以在拷贝底层数据结束后，自动更新元数据，使表和分区的数据完整...
指定输入表的分区：指定单个分区，格式为 partition_name=value。指定多个分区，格式为 name1=value1,name2=value2。说明 多个分区之间用英文逗号（,）分隔。指定多级分区，格式为 name1=value1/name2=value2。否 weightTable 特征重要性的...
方法2：Hint表名和认为可能产生倾斜的列，例如表a的c0和c1列存在数据倾斜。select/*+skewjoin(a(c0,c1))*/*from T0 a join T1 b on a.c0=b.c0 and a.c1=b.c1 and a.c2=b.c2;方法3：Hint表名和列，并提供发生倾斜的key值。如果是STRING类型...
truncate:清空表中的数据，其内部实现是将指定的表下线、删除、重建，该操作会丢失Region分区 truncate_preserve：清空表中的数据，其内部实现是将指定的表下线、删除、重建，并且Region分区与旧表保留一致 进入和退出Shell环境 执行以下...
无 时空数据库（V3.8）类别 名称 描述 相关文档 新增 ST_AsDatasetFile函数 新增ST_AsDatasetFile函数，支持将指定范围的栅格对象以指定文件格式的二进制流进行返回。ST_AsDatasetFile ST_RasterDrivers函数 新增ST_RasterDrivers函数，...
说明对应的单个Worker一直执行Merge Join，红框中Merge Join输出的数据条数已经超过1433亿条，有严重的数据膨胀，需要检查JOIN条件和Join Key是否合理，如下图所示：解决思路：检查代码是否有误：JOIN条件是否写错，是否写成笛卡尔积了、...
本文介绍了INSERT语法的简介、使用方法以及示例等内容。简介 INSERT 将新行插入到一个表中。可以插入一个或者更多由值表达式指定的行，或者插入来自一个查询的零行或者更多行。目标列的名称可以以任意顺序列出。如果没有给出列名列表，则有...
String 否 ts 基于此字段的大小来判断消息是否进行更新。如果您没有设置该参数，则系统默认会按照消息在引擎内部处理的先后顺序进行更新。oss.endpoint 阿里云对象存储服务OSS或者OSS-HDFS的Endpoint。String 否 无 如果使用OSS或者OSS-...
支持以下格式：Partition_name=value name1=value1/name2=value2：多级格式 说明 如果指定多个分区，则使用半角逗号（,）分隔。所有分区 outputTableName 是 输出结果表 无 strataColName 是 层次列，即按照此列作为key分层。无 sampleSize...
是-c"<condition>"|-fullTable-fullTable 和-c"<condition>"只需提供一个，即要么指定-c"<condition>"，要么指定-fullTable。指定-fullTable 时，则为移动整表，既可以是非分区表也可以是分区表。指定-c"<condition>"时，则提供了一个过滤...
PC 示例 正常返回示例 JSON 格式 {"RequestId":"A80DB41C-AF6C-50E1-ADB5-66DCBA3D266B","Success":"true","Code":"200","Message":"successful","PageNumber":1,"PageSize":10,"TotalCount":1,"SiteMonitors":{"SiteMonitor":[{"TaskType...
本文介绍多值数据查询方法。多值模型数据查询 mquery 请求路径和方法 请求路径 请求方法 描述/api/mquery POST 查询数据 重要 多值模型数据和原来写入的单值模型数据不兼容。单值模型数据需要通过原有的/api/put 接口进行写入。同时多值...
指定输入表的分区：指定单个分区，格式为 partition_name=value。指定多个分区，格式为 name1=value1,name2=value2。说明 多个分区之间用英文逗号（,）分隔。指定多级分区，格式为 name1=value1/name2=value2。否 selectedCols 输入特征，...
Broker Load导入ORC格式的数据时，报错“ErrorMsg:type:ETL_RUN_FAIL;msg:Cannot cast '<slot 6>' from VARCHAR to ARRAY(30)>”，该如何处理？为什么Broker Load导入作业没报错，但是却查询不到数据？报错“failed to send batch或...
块复制 SMC会根据迁移源磁盘分区状态进行判断是否支持开启块复制。如果迁移源不支持分区开启 块复制，则该开关无法打开。使用默认的文件级别迁移，分区大小可修改。如果迁移源支持分区开启 块复制，则默认开启块复制，实现分区级别的磁盘...
请求路径和方法 请求路径：/api/query 请求方法：POST 描述：查询数据 请求内容（JSON 格式）名称 类型 是否必选 描述 默认值 举例 start Long 是 开始时间。单位为秒或者毫秒，判断规则详见下面的 时间戳单位判断。无 1499158925 end Long...
您可以通过设置规则，根据用户请求的不同特征，灵活的调整 全站加速 DCDN 的配置是否对该请求生效，用以满足您不同的业务需求，如：为不同特征的用户请求下发特定配置、重定向用户请求、设置特定的回源站点等需求。功能介绍 阿里云 全站...
重要 创建外表时，CSV、Parquet、ORC格式的外表 支持设置的TABLE_PROPERTIES参数不同：CSV格式：仅支持设置 endpoint、url、accessid、accesskey、format、delimiter、null_value 和 partition_column 参数。Parquet格式：仅支持设置 ...
本文档主要介绍了分区投影功能的背景信息、使用场景和限制，以及如何使用分区投影功能。背景信息 当您把数据存储在OSS或HDFS上，并建立大量的分区管理这些数据。DLA Presto在分析这些数据时，会花费大量的时间从元数据系统中获取分区，从而...
匹配类型（MatchType）匹配类型（英文名称）匹配类型含义 匹配类型 变量 支持的匹配运算符（MatchOperator）匹配值（MatchValue）是否支持区分大小写 匹配值是否允许配置空字符串 请求方法 Request Method 客户端请求使用的请求方法。...
Q：Binlog格式和MySQL原生格式是否存在差异？A：没有差异。Q：是否支持performance schema和sys schema？A：支持。Q：表统计信息收集和社区版MySQL是否存在差异？A：PolarDB MySQL版 主节点的表统计信息和社区版MySQL一致。为了保证主节点...
实时同步写入kafka的消息总体格式、同步任务心跳消息格式及源端更改数据对应的消息格式，详情请参见：附录：消息格式。创建实时同步任务 创建整库实时同步节点。配置资源组。设置同步来源和规则。在 数据来源 区域，选择 类型、数据源 及 ...
不同的存储格式适用于不同的查询场景，建表时默认为列存，其余存储模式需要建表时显式指定，详情请参见 表存储格式：列存、行存、行列共存。call set_table_property('table_name','orientation','[column|row|row,column]');table_group ...
问题原因 静态分区与动态分区的分区字段都是一个表外的虚拟字段,静态分区需要是手动指定分区字段及文件位置(load data);动态分区则是根据指定的字段值自动判断分区；目前Dataphin管道任务不支持动态分区。适用于 Dataphin 版本V3.6.2
使用 步骤3~步骤4 的方法将 t1 表历史分区 p1 中的数据迁移至 t2 的 p1 分区中。全部迁移完成后，删除表 temp。若后续 t1 表中还有其他的分区需要迁移至 t2 中，您可以在 t2 表中使用 ADD PARTITION 添加新的空分区，再按照上述步骤进行...