可选 JindoCube通过用户指定的Dimension和Measure信息来构建Cube，对于上图的示例，创建的Cube Cache可以用SQL表示为：SELECT c_city,c_nation,c_region,MAX(lo_quantity),SUM(lo_tax)FROM lineorder_flatten GROUP BY c_city,c_nation,c_...
可选 JindoCube通过用户指定的Dimension和Measure信息来构建Cube，对于上图的示例，创建的Cube Cache可以用SQL表示为：SELECT c_city,c_nation,c_region,MAX(lo_quantity),SUM(lo_tax)FROM lineorder_flatten GROUP BY c_city,c_nation,c_...
可选 JindoCube通过用户指定的Dimension和Measure信息来构建Cube，对于上图的示例，创建的Cube Cache可以用SQL表示为：SELECT c_city,c_nation,c_region,MAX(lo_quantity),SUM(lo_tax)FROM lineorder_flatten GROUP BY c_city,c_nation,c_...
可选 JindoCube通过用户指定的Dimension和Measure信息来构建Cube，对于上图的示例，创建的Cube Cache可以用SQL表示为：SELECT c_city,c_nation,c_region,MAX(lo_quantity),SUM(lo_tax)FROM lineorder_flatten GROUP BY c_city,c_nation,c_...
可选 JindoCube通过用户指定的Dimension和Measure信息来构建Cube，对于上图的示例，创建的Cube Cache可以用SQL表示为：SELECT c_city,c_nation,c_region,MAX(lo_quantity),SUM(lo_tax)FROM lineorder_flatten GROUP BY c_city,c_nation,c_...
可选 JindoCube通过用户指定的Dimension和Measure信息来构建Cube，对于上图的示例，创建的Cube Cache可以用SQL表示为：SELECT c_city,c_nation,c_region,MAX(lo_quantity),SUM(lo_tax)FROM lineorder_flatten GROUP BY c_city,c_nation,c_...
可选 JindoCube通过用户指定的Dimension和Measure信息来构建Cube，对于上图的示例，创建的Cube Cache可以用SQL表示为：SELECT c_city,c_nation,c_region,MAX(lo_quantity),SUM(lo_tax)FROM lineorder_flatten GROUP BY c_city,c_nation,c_...
t=odps.get_table('table_name')t.schema odps.Schema { c_int_a bigint c_int_b bigint c_double_a double c_double_b double c_string_a string c_string_b string c_bool_a boolean c_bool_b boolean c_datetime_a datetime c_datetime_...
查询指定的分区是否存在。命令格式 boolean partition_exists(string，string.)参数说明 table_name：必填。表名称，STRING类型。表名称中可以指定项目空间名称，例如 my_proj.my_table。如果不指定项目空间名称则默认为当前项目空间。...
命令来判断分区是否存在，并通过 alter table table_name add[if not exists]partition partition_spec 来创建对应的分区。使用Tunnel Upload命令上传数据时，报错Column Mismatch，如何解决？通常是因为数据源文件的行分隔符有问题，将多...
CREATE TABLE test_newtype(c1 TINYINT,c2 SMALLINT,c3 INT,c4 BIGINT,c5 FLOAT,c6 DOUBLE,c7 DECIMAL,c8 BINARY,c9 TIMESTAMP,c10 ARRAY,BIGINT>>,c11 MAP,ARRAY<BIGINT>>,c12 STRUCT,s2:BIGINT>,c13 VARCHAR(20))LIFECYCLE 1;示例7：创建...
如果不考虑写入了历史数据等问题，在日志实时写入的情况下，有以下两种方法判断分区数据是否已完整：通过API、SDK或控制台判断（推荐）使用 API、SDK 或者控制台获取指定Project/Logstore投递任务列表。例如API返回任务列表如下。控制台会...
指定分区表的分区字段。col_name：表的分区列名。列名大小写不敏感，不能有特殊字符，只能包含a~z、A~Z、数字、下划线（_）或中文。建议以字母开头，名称的长度不超过128字节，否则报错。data_type：分区列的数据类型。MaxCompute 1.0版本...
代码示例如下：测试数据 {"a":"abc","b":1,"c":{"e":["1","2","3","4"],"f":{"m":"567"} } } 源表DDL定义 CREATE TEMPORARY TABLE `kafka_table`(`a` VARCHAR,b int,`c` ROW,f ROW<m VARCHAR>>-c是一个JSON Object，对应Flink里面是ROW；...
Stream load执行并返回导入结果，用户可直接通过请求的返回体判断本次导入是否成功。Stream Load主要适用于导入本地文件或通过程序导入数据流中的数据，支持的数据格式包括：CSV（文本）、JSON、PARQUET和ORC。创建导入 Stream Load通过...
在查询分区表数据时必须指定分区，由此减少SQL的不必要I/O，从而减少计算资源的浪费以及按量计费模式下不必要的计算费用。如果您需要对分区表进行全表扫描，可以在全表扫描的SQL语句前加上命令 set odps.sql.allow.fullscan=true;并和SQL...
同时我们也支持通过指定分区键建分区表，在分析场景中建议您根据如下依据选择分区键：尽可能选择参与JOIN的字段作为分区键，这样做的目的是为了关联条件下推，避免数据被拉取到计算层做计算。尽可能选择值分布均匀的字段作为分区键，这样...
在查询分区表数据时必须指定分区，由此减少SQL的不必要I/O，从而减少计算资源的浪费以及按量计费模式下不必要的计算费用。如果您需要对分区表进行全表扫描，可以在全表扫描的SQL语句前加上命令 set odps.sql.allow.fullscan=true;并和SQL...
您可以参考如下两种方式判断是否有脏数据。查看报错信息，如果返回信息包含 Cannot parse，则存在脏数据。代码如下。SELECT written_rows,written_bytes,query_duration_ms,event_time,exception FROM system.query_log WHERE event_time ...
日期时间类型数据写入文本时，如何保留毫秒或者指定自定义日期时间格式？具体插件报错原因及解决方案 添加MongoDB数据源时，使用root用户时报错 读取MongoDB时，如何在query参数中使用timestamp实现增量同步？MongoDB同步至数据目的端数据...
指定分区表的分区字段。col_name：表的分区列名。列名大小写不敏感，不能有特殊字符，只能包含a~z、A~Z、数字、下划线（_）或中文。建议以字母开头，名称的长度不超过128字节，否则报错。data_type：分区列的数据类型。MaxCompute 1.0版本...
配置项列表 max_dynamic_partition_num 默认值：500 是否可以动态配置：true 是否为Master FE节点独有的配置项：true 说明：用于限制创建动态分区表时可以创建的最大分区数，避免一次创建过多分区。数量由动态分区参数中的 开始 和 结束 ...
分区是否需要手工登录机器格式化？这里填写的盘都是需要机器上需要存在的，其中会针对k8s 管控数据盘默认自动创建三个分区（假设/dev/vdb）；业务分区若为空，默认使用/dev/vdb3；若自行指定，如/dev/vdb4，是需要自己先行手动创建好的。...
参考信息_partition_time_字段 将日志时间作为分区字段，通过时间筛选数据是MaxCompute常见的过滤数据的方法。格式_partition_time_是根据日志服务中_time_字段的值计算得到的，结合时区配置以及分区时间格式，生成时间字符串。为避免触发...
指定的分区键可以与父亲的分区键重叠，不过在指定子分区的边界时要注意它接受的数据集合是分区自身边界允许的数据集合的一个子集，系统不会尝试检查事情情况是否如此。3.在分区表的键列上创建一个索引，还有其他需要的索引（键索引并不是...
表分区 使用PyODPS判断是否为分区表、遍历表全部分区、判断分区是否存在、创建分区等。数据上传下载通道 使用PyODPS操作Tunnel向MaxCompute中上传或者下载数据。说明 更多PyODPS方法说明，请参见 Python SDK方法说明。前提条件：准备运行...
查看所有分区子表 您可以通过如下两种方法查看当前分区父表下所有的分区子表：通过HoloWeb可视化查看，HoloWeb会展示分区父表下面的所有分区子表。通过执行如下命令语句，查看当前分区父表下所有的分区子表。其中，您可以将 parent_table_...
Mapper是否支持同一表格多分区输入？Mapper可以直接从Record中读取分区数据段的信息吗？Label和分区是什么关系？MapReduce中是否可以只有Map？Mapper中输入表中的每条Record数据，是否可以按列名读取？write(Record key,Record value)与...
您将了解到如何创建分区表和维表，以及如何定义表的分布键、分区键、索引、生命周期、冷热数据分层等。设置默认值、自增列 设置主键 设置分布键 设置分区键与生命周期 设置聚集索引 设置全文索引 设置向量索引 设置冷热分层存储策略 表的...
查看待迁移的分区是否符合预期。结合-e 选项仅列举待迁移的分区，但不会真正执行迁移任务。sudo jindotable-moveTo-t tdb.test_table-d oss:/examplebucket.cn-hangzhou.oss-dls.aliyuncs.com/data/tdb.test_table -c" dt > 'v' " -e返回结果...
参数 是否必选 说明 是否可更新 auto_partitioning.enable 否 是否启用动态分区管理，取值说明如下：true：启用动态分区管理。false（默认值）：关闭动态分区管理。是 auto_partitioning.time_unit 是 动态分区的时间单位，取值说明如下：...
参考信息_partition_time_将日志时间作为分区字段，通过时间筛选数据是MaxCompute常见的过滤数据的方法。格式_partition_time_是根据日志服务中_time_字段的值计算得到的，结合分区时间格式，向下取整。为避免触发MaxCompute单表分区数目的...
load_to_single_tablet 无 指定是否只导入数据到对应分区的一个 tablet，默认值为 false。该参数只允许向对带有random分区的 Duplicate 表导入数据的时设置。严格模式（strict mode）与原始数据（source data）的导入关系 例如列类型为...
产生原因 在执行SELECT操作时，如果需要指定分区请使用WHERE子句。使用ON属于非标准用法。执行成功的项目设置了允许非标准SQL的行为，即执行了 set odps.sql.outerjoin.supports.filters=false 命令，该配置会把ON里的条件转换为过滤条件，...
实时写入数据至Hologres的分区结果表 Hologres支持通过调用实时数据API接口，直接将数据写入分区父表中，对应的分区数据将会自动路由至分区子表。您可以直接写入数据至分区表。实时数据API的描述，详情请参见 实时数据API。使用限制如下：...
sink.partition-commit.watermark-time-zone 解析Long类型的watermark到TIMESTAMP类型时所采用的时区，解析得到的watermark的TIMESTAMP会跟分区时间进行比较，以判断是否该分区是否需要被提交。String 否 UTC 仅当 sink.partition-commit....
本文为您介绍SQL错误码列表、触发条件及处理方法。该类型错误的错误码编码格式如下。ODPS-01CCCCX:通用描述-上下文相关说明 SQL错误包含META（CCCC段为1000~1999）、PROCESSOR（CCCC段为2000~2999）、PARSER（CCCC段为3000~3999）和PLANNER...
修改/etc/fstab文件格式的方法，请参见 启动实例时提示Give root password for maintenance或Press xxx to continue该如何处理？系统防火墙状态检查 检查系统防火墙是否打开。检查该实例的防火墙。如果实例开启了防火墙，并设置了屏蔽外界...
ISNAN 判断表达式的值是否是NaN。LN 计算自然对数。LOG 计算log对数值。NEGATIVE 返回表达式的负值。POSITIVE 返回表达式的值。POW 计算幂值。RAND 返回随机数。ROUND 返回四舍五入到指定小数点位置的值。SIN 计算正弦值。SINH 计算双曲...
示例1：表中有3列 c1,c2,c3，源文件中的3列依次对应的是 c3,c2,c1，则需要指定-H"columns:c3,c2,c1。示例2：表中有3列 c1,c2,c3，源文件中前3列与表中的列一一对应，但是还有多余1列，则需要指定-H"columns:c1,c2,c3,temp"，最后1列随意...