对比指标 标准存储类型 低频访问存储类型 数据设计持久性 99.9999999999%（12个9）99.9999999999%（12个9）服务可用性 99.995%无 服务设计可用性 无 99.995%对象最小计量大小 按照对象实际大小计算 64 KB 最短存储时间 无最短存储时间要求 ...
当FE将生成的查询计划分发给各个BE后，各个BE会并行扫描Hive存储系统中的目标数据，并执行计算返回查询结果。查询数据 查询内部数据 如果需要查询存储在StarRocks中的数据，请参见 Default Catalog。查询外部数据 如果需要查询存储在外部...
支持DIFF，压缩效果一般，并且编码后的数据无法检索 无 冷热分离 冷热数据自动分层，其中冷数据使用高压缩和高性价比存储，减少80%成本，热数据可提升访问性能15%，详情请参见 冷热分离介绍。不支持 不支持 扩展性与弹性 最小规模 1个节点...
对象存储OSS提供标准、低频访问、归档、冷归档、深度冷归档多种存储类型，全面覆盖从热到冷的各种数据存储场景。说明 各存储类型的定价，请参见 OSS产品定价。各存储类型的计费方式，请参见 存储费用。标准存储（Standard）提供高可靠、高...
文件存储HDFS版（Apsara File Storage for HDFS）是面向阿里云ECS实例及容器服务等计算资源的文件存储服务。您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大...
表格存储 数据湖投递可以全量备份或实时投递数据到数据湖OSS中存储，以满足更低成本的历史数据存储，以及更大规模的离线和准实时数据分析需求。应用场景 利用数据湖投递可以实现如下场景需求：冷热数据分层 数据湖投递结合 表格存储 的 ...
全部数据存储在低频存储或归档存储节省的存储费用（费用A）读写低频存储或归档存储中的数据产生的流量费用（费用B）（通用型NAS存储单价-低频存储单价或归档存储）×预估存储容量 文件存储NAS的存储单价，请参见 文件存储NAS产品定价。...
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
阿里云Cloudera CDP默认支持集群中组件HDFS NameNode、YARN ResourceManager以及Hive Metastore Server的高可用，此外对于Hive、Hue等组件用于存储元数据的元数据库MariaDB也做了主从备份，能最大限度保证服务的可用性和数据的可恢复性。...
说明 挂载成功后，显示的容量是OSS的容量，按照文件系统最大容量显示256 TB，目前OSS存储空间无容量限制。访问共享目录。挂载成功后，您可以像操作本地目录一样操作共享目录。如果访问用户具有写权限，则可以向共享目录写入数据；如果访问...
Hive Hive warehouse支持默认使用OSS-HDFS存储。OSS-HDFS 新增服务。YARN 支持默认使用OSS-HDFS存储。HBase HBase HFile数据支持默认使用OSS-HDFS存储。HBase WAL日志支持使用OSS-HDFS存储。EMR-5.12.0 服务 变更点 Kyuubi 升级到1.7.1版本...
Hive Hive warehouse支持默认使用OSS-HDFS存储。OSS-HDFS 新增服务。YARN 支持默认使用OSS-HDFS存储。HBase HBase HFile数据支持默认使用OSS-HDFS存储。HBase WAL日志支持使用OSS-HDFS存储。EMR-3.46.0 服务 变更点 Kyuubi 升级到1.7.1版本...
本文介绍在Linux操作系统如何通过客户端访问云存储网关。前提条件 已创建共享。具体操作，请参见 创建共享。安装NFS客户端 在挂载NFS共享前，需要在客户机上安装NFS客户端。登录客户机。执行以下命令安装NFS客户端。此处介绍Ubuntu操作系统...
Hive的文件基本上都是存储在HDFS上，而HDFS上的文件，都是分块的，所以具体的Hive数据文件在HDFS上分多少块，可能对应的是默认Hive起始的Task的数量，使用 default_mapper_num 参数表示。使用数据总大小除以dfs默认的最大块大小来决定初始...
OSS 采用多可用区（AZ）内的数据冗余存储机制，将用户的数据冗余存储在同一地域（Region）的多个可用区。当某个可用区不可用时，仍然能够保障数据的正常访问。OSS同城冗余存储提供99.9999999999%（12个9）的数据设计持久性。本文介绍如何...
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过生命周期规则或者CopyObject的方式随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS服务的Bucket，建议不要修改OSS-HDFS的数据存储目录.dlsdata/下任意...
无 Hive Catalog支持Hive 3.x版本的DLF 对于Hive 3.x版本，支持DLF作为Hive Catalog的元数据管理中心。管理Hive Catalog 支持SLS Catalog 通过Catalog的方式注册元数据后，在创建SQL时，无需再频繁使用DDL创建SLS源表。管理SLS Catalog ...
Presto支持在线数据查询，包括Hive、Cassandra、关系数据库以及专有数据存储。说明 本文中Presto是通过连接Hive的元数据服务来读取文件存储HDFS上的数据，在文件引擎上使用Presto时需要额外配置一些依赖包，详细操作步骤请参见 配置Presto...
非OSS-HDFS集群存储无该参数项。集群存储根目录 默认为计算设置配置的参数信息，不支持配置。非OSS-HDFS集群存储无该参数项。AccessKey ID、AccessKey Secret 集群存储类型为OSS-HDFS，需填写访问集群OSS的AccessKey ID和AccessKey Secret...
连接器 功能 对应文档 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 iceberg 使用Iceberg连接器可以查询Iceberg格式的数据文件。Iceberg...
本文主要为您介绍如何使用Hive或者HadoopMR访问表格存储中的表。数据准备 在表格存储中准备一张数据表pet，name是唯一的一列主键，数据示例请参见下表。说明 表中空白部分无需写入，因为表格存储是schema-free的存储结构，没有值也无需写入...
无 spark.dla.eni.vswitch.id 您的交换机ID 无 spark.dla.eni.security.group.id 您的安全组ID 无 spark.dla.eni.enable 控制开启或关闭ENI 无 spark.dla.eni.extra.hosts Spark解析Hive表位置时，需要额外传入IP和表格存储节点host的映射...
OceanBase（公测中）Hive Catalog支持OSS-HDFS作为Hive写入端的存储 方便您集成OSS-HDFS构建Hive数仓。管理Hive Catalog 基于DLF的Hive Catalog支持创建非Hive表 您可以统一使用Hive Catalog管理不同的类型的表。Paimon支持能力提升 支持将...
适用场景 PolarDB 高压缩引擎（X-Engine）提供了超大存储容量，它可以同时作为多个业务历史数据的汇聚地，以方便对所有历史数据进行集中存储和管理，主要适用于如下几个场景：将 PolarDB 高压缩引擎（X-Engine）作为线下自建数据库实例的冷...
sql-client.sh-l/opt/apps/PAIMON/paimon-current/lib/flink/-l/opt/apps/PAIMON/paimon-current/lib/jackson/-l/opt/apps/METASTORE/metastore-current/hive2/-l/opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/说明 即使您使用的...
时序模型提供了数据生命周期、时间线索引、冷热存储、数据压缩等功能以满足时序数据的低成本存储以及高性能查询分析的需求。时序模型在车联网场景中主要用于车辆轨迹数据的存储、查询和分析。说明 关于时序模型的更多信息，请参见 时序模型...
使用Hive连接器可以查询和分析存储在Hive数据仓库中的数据。背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和...
列类型映射 Paimon Data Type SelectDB Data Type 备注 BooleanType Boolean 无 TinyIntType TinyInt 无 SmallIntType SmallInt 无 IntType Int 无 FloatType Float 无 BigIntType BigInt 无 DoubleType Double 无 VarCharType VarChar 无 ...
OSS-HDFS服务（JindoFS服务）是一个云原生数据湖存储功能。基于统一的元数据管理能力，完全兼容HDFS文件系统接口，满足大数据和AI等领域的数据湖计算场景。注意事项 警告 当您为某个Bucket开通OSS-HDFS服务后，通过该服务写入的数据将保留...
连接器 功能 hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。mysql 使用MySQL连接器可以在外部MySQL实例中查询和创建表。iceberg 使用Iceberg连接器可以查询Iceberg...
mkdir/etc/taihao-apps/hive-conf scp root@节点内网的IP地址>:/etc/taihao-apps/hive-conf/hive-site.xml/etc/taihao-apps/hive-conf/步骤二：启动Flink SQL 重要 务必将DLF的依赖包放置在Hive依赖包的前面，其中DLF依赖包中嵌入了Hudi的...
更多信息，请参见 块存储概述。缓存盘大小：数量范围为50~65000 GB。说明 您可以输入所需的存储容量，系统将自动提供默认的推荐配置。如果您选择的云盘容量超出建议的阈值，系统会弹出相应的提示，帮助您做出适当的调整以确保最佳性能。PL0...
连接器 功能 对应文档 Hive 使用Hive连接器可以查询存储在Hive数据仓库中的数据。Hive连接器 Kudu 使用Kudu连接器可以查询、插入和删除存储在Kudu里的数据。Kudu连接器 MySQL 使用MySQL连接器可以在外部MySQL实例中查询和创建表。MySQL连接...
通过创建Hive数据源能够实现Dataphin读取Hive的业务数据或向Hive写入数据。本文为您介绍如何创建Hive数据源。背景信息 Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供SQL查询功能。Hive用于转化...
本文主要介绍在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Tez。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
sql-client.sh-l/opt/apps/FLINK-TABLE-STORE/flink-table-store-current/lib/flink/-l/opt/apps/FLINK-TABLE-STORE/flink-table-store-current/lib/catalog/hive2/-l/opt/apps/FLINK/flink-current/opt/catalogs/hive-2.3.6/执行以下Flink...
基于物联网场景中多源异构数据存储、高并发吞吐、海量数据高性价比存储、多维度数据处理与分析等需求，表格存储推出了一站式物联网存储IoTstore解决方案，为物联网设备元数据、消息数据、时序轨迹等海量数据提供存储、查询、检索、分析、...
org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat Compressed boolean 是否压缩。false NumBuckets long Bucket 个数。1 SerDeInfo SerDeInfoModel 序列化反序列化信息。Parameters object 存储配置参数。string 参数的值。...
表格存储（Tablestore）面向海量结构化数据提供Serverless表存储服务，同时针对物联网场景深度优化提供一站式的IoTstore解决方案。适用于海量账单、IM消息、物联网、车联网、风控、推荐等场景中的结构化数据存储，提供海量数据低成本存储、...
数据湖支持在低存储成本的情况下，更好地满足数据长期存储、查询、分析、读取等需求。本文介绍通过日志服务SLS完成日志数据入湖的操作方式。前提条件 已在日志服务Project所在的地域创建Bucket。具体操作，请参见 控制台创建存储空间。背景...