物联网平台数据服务提供离线数据存储功能,支持自定义分区表、事务表和时序表。自定义存储表可以作为数据服务中数据解析、SQL分析任务和数据可视化的数据源,可以作为数据解析、SQL分析任务的结果输出表,可以集成时序表数据到实时计算...
表格存储中的表存储着用户的结构化数据。用户可以在表中查询、插入、修改和删除数据。一个用户可以拥有多个表。数据在表中以行、列、值的形式来组织。上图展示了表格存储中表及其它概念与电子表格的类比:表:类似电子表格中底端的标签,...
数据表结构 假设存储车辆元数据的数据表名称为vehicles_metadata,表结构请参见下表。说明 关于表设计的更多信息,请参见 表设计。字段名称 类型 描述 vin_id(主键列)String 车辆识别代码,即车架号,用于唯一标识车辆。v_color String ...
介绍如何使用表格存储的主键增列功能优化高并发IM系统架构。背景 在构建社交IM和朋友圈应用时,最基本的需求是将用户发送的消息和朋友圈的更新及时、准确地更新给该用户的好友。这需要为用户发送的每一条消息或者朋友圈更新设置一个序号...
表格存储支持半结构化的表,即建表时只需要指定主键列(1至4列),不需要在创建表的时候指定属性列。表格存储表中包含的属性列个数无限制,且每一行数据可以拥有不同数量不同类型的属性列。在应用程序写入数据时,表格存储需要应用程序指定...
介绍如何查看表的数据存储量。操作步骤 通过控制台在数据表的 基本详情 页签,可以查看表大小,即表的数据存储量。通过控制台在数据表的 监控指标 页签,选择 指标分组 为 表大小,可以查看表大小,即表的数据存储量。
时序表结构 假设存储车辆元数据的数据表名称为vehicles_timeseriesdata,表结构请参见下表。字段名称 类型 描述 measurement String 度量名称,表示时间线数据所度量的物理量或者监控指标的名称。data source String 数据源,表示产生时间...
在Source表(order_source表)上执行批计算SQL命令,得到聚合结果,并将聚合结果分别写回表格存储的Sink表(OrderTotalSink表和OrderBatchSink表)中。执行批计算SQL语句更新用户维度的聚合结果。SQL命令。INSERT INTO order_batch_sink ...
已为表格存储的数据表或者时序表创建映射关系。具体操作,请分别参见 创建表的映射关系 和 创建多值模型映射关系。首次使用时,请自行安装开源Grafana,且Grafana版本必须大于8.0.0。关于安装Grafana的具体操作,请参见 Grafana官方文档。...
通过本文您可以了解 表格存储 的表名和列名的命名规则,以及主键列和属性列支持的数据类型。命名规则 表名和列名必须符合以下规则。规范项 说明 组成 由英文字符(a~z)或(A~Z)、数字(0~9)和下划线(_)组成。首字母 必须为英文字母(a...
分析存储与时序表的数据存储相互独立,允许用户自定义数据的生命周期(TTL),对分析存储的查询操作不会对时序表的读写性能产生影响。分析存储能够自动同步时序表数据,在数据写入速率稳定的情况下,同步操作的延迟通常在10分钟内,如果...
使用DescribeTimeseriesTable接口,您可以查询时序表描述信息,例如数据生命周期(Time To Live,简称TTL)配置等。前提条件 已创建时序表。具体操作,请参见 创建时序表。已初始化TimeseriesClient。具体操作,请参见 初始化OTSClient。...
调用DeleteTimeseriesAnalyticalStore接口删除一个时序分析存储。请求消息结构 message DeleteTimeseriesAnalyticalStoreRequest { required string table_name=1;required string store_name=2;optional bool drop_mapping_table=3;} 名称...
表格存储作为面向海量结构化数据提供的Serverless表存储服务,具有海量数据存储、热点数据自动分片、海量数据多维检索等功能,能有效解决订单数据大爆炸的挑战。同时,多元索引 功能在保证用户数据高可用的基础上提供了数据多维度搜索、...
数据写入时序表后,根据使用的数据查询方式不同,查询延迟有区别。当通过 GetTimeseriesData 接口进行查询时,您可以立即查询到写入的数据。当通过SQL使用时序表的绑定关系进行查询时,对于已有时间线,您可以立即查询到写入的数据。如果是...
表示时序表的表结构和配置。数据结构 message TimeseriesTableMeta { required string table_name=1;optional TimeseriesTableOptions table_options=2;optional string status=3;optional TimeseriesMetaOptions meta_options=4;} 名称 ...
表示一个表的结构信息。数据结构 message TableMeta { required string table_name=1;repeated PrimaryKeySchema primary_key=2;repeated definedColumnsSchema defined_Columns=3;} 参数 类型 是否必选 描述 table_name:string 是 表名。...
使用DescribeTimeseriesTable接口,您可以查询时序表描述信息,例如数据生命周期(Time To Live,简称TTL)配置等。前提条件 已创建时序表。具体操作,请参见 创建时序表。已初始化TimeseriesClient。具体操作,请参见 初始化。参数 参数 ...
调用DescribeTable接口查询指定表的结构信息以及预留读吞吐量和预留写吞吐量设置信息。请求消息结构 message DescribeTableRequest { required string table_name=1;} 名称 类型 是否必选 描述 table_name string 是 需要查询的表名。响应...
使用DescribeTable接口可以查询指定表的结构、预留读/写吞吐量详情等信息。说明 API说明请参见 DescribeTable。前提条件 已初始化Client。更多信息,请参见 初始化。已创建数据表。接口/*查询指定表的结构信息和预留读/写吞吐量设置信息。...
参数 参数 说明 TimeseriesTableMeta 时序表的结构信息,包含如下内容:timeseriesTableName:时序表名。timeseriesMetaOptions:时序时间线表的配置信息,包括如下内容:metaTimeToLive:配置时序时间线表的时间线数据存活时间,单位为秒...
通过SDK创建时序表后,您可以写入时序数据并对时间线进行检索以及查询时序数据。前提条件 已创建时序模型实例。具体操作,请参见 创建时序模型实例。已初始化TimeseriesClient。具体操作,请参见 初始化OTSClient。注意事项 时序模型功能将...
调用 CreateTable 接口根据给定的表结构信息创建相应的数据表。注意事项 创建成功的数据表并不能立刻提供读写服务。通常在建表成功后一分钟左右,即可对新创建的表进行读写操作。单个实例下不能超过64个表。如果需要提高单实例下表数目的...
相关文档 如果要查询某个表的详细信息,例如表的结构、预留读/写吞吐量详情,您可以使用查询表描述信息功能实现。具体操作,请参见 查询表描述信息。如果不再使用某个表,您可以删除该表。具体操作,请参见 删除数据表。
表结构 主键名 类型 编码方式 长度 userid string 4-Byte-Hash+Long.toHexString 20 属性列 属性列名 类型 长度 field0 string 100 field1 string 100 field2 string 100 field3 string 100 field4 string 100 分区数量 表格存储的自动负载...
使用Hive/HadoopMR来访问表格存储中的表前,您需要完成JDK、Hadoop环境、Hive环境、表格存储Java SDK和阿里云EMR SDK的安装。使用Hive/HadoopMR来访问表格存储中的表 通过 表格存储 及 E-MapReduce 官方团队发布的依赖包,可以直接使用Hive...
背景信息 表格存储的数据表是通过指定主键来实现表中数据的查询。但是,通常情况下很多应用可能需要通过数据表主键以外的属性对数据进行查询。为了解决此问题,您可以为数据表创建一个或多个二级索引,然后使用索引表查询数据。二级索引...
当不再需要使用分析存储来存储与分析时序数据时,您可以使用DeleteTimeseriesAnalyticalStore接口删除时序表下的分析存储。前提条件 已创建时序表和分析存储。具体操作,请参见 创建时序表 和 创建分析存储。已初始化TimeseriesClient。...
为了防止由于误删、恶意篡改等导致重要数据不可用,您可以使用 表格存储 数据备份功能备份实例中宽表数据,并在数据丢失或受损时及时恢复。背景信息 云备份(Cloud Backup)作为阿里云统一灾备平台,是一种简单易用、敏捷高效、安全可靠的...
全量数据备份 数据湖投递可以自动将 表格存储 的全表数据投递到OSS Bucket中,作为备份归档数据。大规模实时数据分析 数据湖投递可以实时(每2分钟)投递增量的 表格存储 数据到OSS,投递的数据支持按系统时间分区、Parquet列存格式存储;...
表格存储 的Java SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息,请参见 ...
表格存储 的Go SDK为时序模型提供了时序表、时序数据、分析存储 级别的多种操作。说明 表格存储 时序模型是针对时间序列数据的特点进行设计,适用于物联网设备监控、设备采集数据、机器监控数据等场景。关于时序模型的更多信息,请参见 ...
表格存储的数据表用于车辆元数据的存储、更新和查询。宽表模型的表结构设计请参见 宽表模型设计。多元索引用于车辆检索和圈选。更多信息,请参见 多元索引介绍。SQL查询用于车辆检索与分析。更多信息,请参见 SQL查询。通道服务提供与实时...
分析工具 适用模型 操作 描述 MaxCompute 宽表模型 使用MaxCompute 通过MaxCompute客户端为 表格存储 的数据表创建外部表,即可访问 表格存储 中的数据。Spark 宽表模型 使用Spark计算引擎 使用Spark计算引擎时,支持通过E-MapReduce SQL...
在前文的方案与架构基础上,本文介绍如何使用表格存储的Timeline模型实现Feed流系统的存储与同步功能。模型介绍 本文使用表格存储作为存储和同步系统,并主要使用Timeline模型、基于推模式进行同步。表格存储消息(Timeline)模型是针对...
表格存储 支持作为实时计算Flink的源表和结果表使用,您可以将 表格存储 数据表中的数据经过Flink处理后得到的结果保存到 表格存储 的另一张数据表中。背景信息 实时计算Flink能将Tunnel Service的数据通道作为流式数据的输入,每条数据...
通过DataWorks控制台,您可以在MaxCompute中使用merge_udf.jar包将 表格存储 的增量数据转换为全量数据格式。前提条件 已导出 表格存储 全量数据到MaxCompute,且已配置同步 表格存储 增量数据到MaxCompute。具体操作,请分别参见 全量导出...
同步方式 说明 全量导出 将表格存储的全量数据一次性导出到OSS中备份或者使用。使用此同步方式时,只需执行一次离线同步任务即可,无需为离线同步任务配置调度属性。增量同步 将表格存储中新增和变化的数据定期同步到OSS中备份或者使用。...
用于访问表格存储服务,将原始数据和聚合结果写入表格存储的数据表中。说明 在表格存储中通过控制台或者SDK创建存储电商数据的原始订单表OrderSource,OrderSource表有两个主键UserId(用户ID)和OrderId(订单ID)和两个属性列price(价格...
spark-sql-jars/opt/apps/SPARK-EXTENSION/spark-extension-current/spark2-emrsdk/*创建Source外表order_source(对应表格存储的OrderSource表)。参数 参数 说明 endpoint 表格存储实例访问地址,EMR集群中使用VPC地址。access.key.id ...