生命周期管理策略 热存储数据至少需保存7天才能转换为低频存储，当数据的存储时间超过配置的 热存储层数据保存 时间后，数据自动由热存储转为低频存储。热存储数据至少需保存30天才能直接转换为归档存储，当数据的存储时间超过配置的 热...
使用约束 AnalyticDB PostgreSQL 6.0版 和 AnalyticDB PostgreSQL 7.0版 实例的数据存储冷热分层使用约束略有差异，请根据实例版本查看对应的约束。6.0版实例 支持将单个热表转为冷表。支持将分区表的部分子分区转为冷分区，暂不支持将整个...
运行结果 中会显示脚本中声明的变量值和执行的数据存储函数。单击 调试 面板的 关闭。（可选）单击页面下方的 发布。此时还可以编辑、重新调试或发布脚本。单击 完成并发布。此时会关闭配置向导页面，完成规则的所有的配置。返回 时序存储>...
本章介绍文件引擎(LindormDFS)默认的数据存储目录结构。目录 说明/${实例ID}-global/${实例ID}_xxx 宽表引擎数据存储目录/solr 搜索引擎数据存储目录/tsdb 时序引擎数据存储目录 说明${实例ID}：lindorm实例ID。xxx：实例所在的区域，如...
冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置冷热数据存储策略的方法。前提条件 已开通冷存储功能。具体操作，请参见 开通冷存储。操作步骤 通过开源HDFS客户端访问文件引擎，具体操作，...
如下图所示，表格存储中实例的数据总量是所有表的数据量之和，表的数据量是表中所有行的数据量之和，所有行的数据量是所有单行数据的主键列和属性列数据量之和。说明 关于最新的单价信息，请参见 表格存储价格详情页。下面举例说明如何计算...
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
dfs2oss/data/data_100g 为本文保存测试数据的目录。请根据实际情况进行替换。查看生成的测试数据。执行命令${HADOOP_HOME}/bin/hadoop fs-du-s dfs:/f-xxxxxxx.cn-beijing.dfs.aliyuncs.com:10290/dfs2oss/data/data_100g 返回示例 ...
Lindorm宽表引擎、Lindorm文件引擎、Lindorm LTS数据同步服务、DLA数据湖分析具备了一体化的数据存储、实时归档、离线数据高压缩比存储、高效数据分析的能力 Lindorm LSM架构使得bulkload数据回流成为可能，高效并且对在线业务影响很低。...
应对数据增长 分片的方案能提供海量的数据存储支持，但随着数据越来越多，存储的成本会不断的上升。通常很多日志数据有个特性，日志数据的价值随时间递减。比如1年前、甚至3个月前的历史数据完全没有分析价值，这部分可以不用存储，以降低...
本文档为您介绍在DataV中添加对象存储OSS数据源的方法，以及相关参数配置说明。使用阿里云对象存储服务（Object Storage Service，简称OSS），您可以通过网络随时存储和调用文本、图片、音频和视频等各种非结构化数据文件。前提条件 已准备...
当虚拟设备有数据上报后，您可以在表格存储的iot_data表中看到实时存储的数据。如下图所示。您也可以在IoT企业实例的⽇志服务中，查看完整的流转⽇志，排查数据链路异常情况。如下图所示。后续步骤 服务端订阅设备消息
OpenStore存储引擎是阿里云Elasticsearch团队针对日志场景自研的弹性、高效、低成本的日志存储引擎，支持自定义冷热存储与智能混合存储版本，智能混合存储可突破传统冷热分离架构，大幅降低集群数据接...，进一步降低云上海量数据的存储成本...
shard副本数 开启OpenStore自定义冷热存储，冷数据存储至OpenStore时shard副本数默认为0，数据的可靠性将由底层存储保证。重要 如果将OpenStore自定义冷热存储的索引副本数设置为1，索引将处于yellow状态，因此不建议手动设置副本，保持...
在优化存储之前，需要了解每个业务负载的性能配置文件，测量每秒读写次数IOPS（Input/Output Operations...数据的敏感性 对于高度敏感的数据，不仅要确保其不丢失和损坏，还要保护其免受意外和恶意更改。数据的持久性、安全性和成本同样重要。
系统自动执行此任务，您需要等待任务状态从 正在执行 变为 执行成功，此执行过程耗时长短与您归档数据的存储量有关。说明 文件合并任务执行完成后，系统会自动将数据源替换为合并后的文件。查询文件合并后的数据。具体操作，请参见 查询...
背景信息 Sqoop 是一款开源的工具，主要用于在Hadoop和结构化数据存储（例如关系数据库）之间高效传输批量数据。既可以将一个关系型数据库（MySQL、Oracle、Postgres等）中的数据导入 文件存储 HDFS 版 中，也可以将 文件存储 HDFS 版 的...
您可以 购买存储包，来抵扣OSS中冷数据的存储容量，以减少存储冷数据的费用。存储包抵扣规则如下：地域类型 抵扣因子 1 GB存储包的OSS存储空间抵扣量 中国内地 0.045 1/0.045=22.22 GB 中国香港及海外 0.045 1/0.045=22.22 GB 例如，您购买...
块存储数据洞察（CloudLens for EBS）是阿里云针对块存储资源提供的数据分析、性能监控的一种功能。您可以通过该功能获取您的云上块存储资源信息与性能监控数据，以提升您对云上块存储资源的管理效率、帮助您高效地分析业务波动与资源性能...
多结构数据存储 OSS是阿里云对外提供的海量、安全、低成本、高可靠的云存储服务。RDS可以和OSS搭配使用，组成多类型数据存储解决方案。例如，当业务应用为论坛时，RDS搭配OSS使用，论坛用户的图像、帖子内的图像等资源可以存储在OSS中，以...
当云盘在线扩容引发数据损坏或云盘非预期删除导致数据丢失时，您可以通过ESSD类型云盘数据卷的自动极速快照功能，实现数据的快速恢复，以保证存储数据的安全性。本文介绍如何使用ESSD云盘的自动极速快照功能实现云盘存储数据安全。前提条件...
使用通道服务、DataWorks或者DataX将表格存储数据表中的数据同步到另一个数据表。前提条件 已创建目标数据表，目标数据表的列必须与源数据表中待迁移的列一一对应。具体操作，请参见 创建数据表。说明 如果要实现跨账号、跨地域数据迁移，...
归档存储为了提供低成本的归档能力，会把用户的归档数据进行 休眠处理。用户获取数据前，需要提交一个Job，该Job在4个小时内，会将用户数据准备好。这时用户便可对该数据用普通的Http方式进行下载。详细信息参见:归档存储 API手册-4.4章节...
接口说明 目前支持 OSS 数据源和 VPC 下的 RDS MySQL 数据库作为外部存储数据。Host 由 Project 名称和日志服务 Endpoint 构成，您需要在 Host 中指定 Project。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。...
调用GetDasSQLLogHotDat接口，查询数据库实例7天内DAS企业版 V2或企业版 V3的热存储数据明细。接口说明 使用该接口需满足以下前提条件：使用阿里云或 DAS 的 SDK 时，建议使用最新版本。在使用 SDK 调用 DAS 服务时，需要将地域指定为 ...
应用场景 对OTS数据表进行加密，有效提升数据的存储安全性，保障企业的数据安全。风险等级 默认风险等级：中风险。当您使用该规则时，可以按照实际需求变更风险等级。检测逻辑 表格存储实例中所有数据表都设置了加密，视为“合规”。表格...
本文介绍如何使用阿里云物联网平台和 TSDB 进行数据打通，实现物联网设备系统的开发和管理、数据采集、数据上报、数据存储和分析的一体化方案，构建智能物联网平台。架构参考“物联网平台+TSDB”方案的实现架构如下：物联网设备通过 IoT ...
表格存储（Tablestore）的时序引擎针对时间序列数据的特点进行设计，提供高压缩比存储，可用于设备时序数据的存储与分析。本文以物模型数据上报Topic为例，介绍使用云产品流转功能将设备数据转发到表格存储（Tablestore）时序模型中的完整...
数据表 选择接收数据的表格存储数据表。您可以单击 创建数据表，跳转到表格存储控制台，创建表格存储数据表。角色 授权物联网平台将数据写入表格存储。如您还未创建相关角色，单击 创建RAM角色，跳转到RAM控制台，创建角色和授权策略，请...
请求语法 PUT/ml/annotationdataset/{datasetId}/annotationdata 请求参数 名称 类型 必填 描述 示例值 datasetId string 否 数据集唯一标识 cb8cc4eb51a85e823471cdb368fae9be annotationdataId string 否 数据的唯一标识 2156d560fc7c...
如下图所示，表格存储中实例的数据总量是所有表的数据量之和，表的数据量是表中所有行的数据量之和，所有行的数据量是所有单行数据的主键列和属性列数据量之和。说明 关于最新的单价信息，请参见 表格存储价格详情页。下面举例说明如何计算...
本文介绍如何通过JindoDistCp工具，将第三方云对象存储中的数据迁移到OSS/OSS-HDFS。前提条件 准备迁移环境并下载JindoDistCp工具，参见 JindoDistCp使用说明。已在Hadoop的 core-site.xml 文件里，配置AccessKey ID和AccessKey Secret。...
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
冷数据恢复 数据转存至OSS时会进行压缩处理，如果要将已经存储在OSS中的数据恢复至云盘存储，需确保云盘上有足够的存储空间，通常要比OSS上的存储空间增大约1.4~4倍。冷数据清除 删除冷存表/索引/物化视图的SQL也是透明的，无需进行任何...
当使用MEM时，path 所指定的缓存数据存储目录需要设置为内存文件系统，例如，设置一个临时挂载目录，将该目录挂载为Tmpfs文件系统。path JindoFS缓存系统Worker的缓存数据存储目录。为达到最优的数据访问性能，建议使用/dev/shm 或其他挂载...
当前表格存储未直接支持存储JSON格式的数据。但是您可以通过字符串方式存储JSON数据，然后通过多元索引中的数组和嵌套类型实现JSON数据的灵活查询。更多信息，请参见 数组和嵌套类型。
适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、毫秒级的在线数据查询和检索以及灵活的数据分析能力。更多信息，请参见 什么是表格存储。云原生大数据计算服务（MaxCompute）是一...