在 文件存储 HDFS 版 中，权限组是一个白名单机制。您可以创建权限组和规则，允许指定的IP地址或网段访问文件系统，并给不同的IP地址或网段授予不同的访问权限。背景信息 初始情况下，每个阿里云账号会自动生成一个默认权限组，默认权限组...
您可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中管理和访问数据那样使用文件存储HDFS版。您无需对现有大数据分析应用做任何修改，即可使用具备无限容量及性能扩展、单一命名空间、多共享、高可靠和高可用等特性的分布...
文件存储HDFS版 文件存储HDFS版（Apsara File Storage for HDFS）是一款面向阿里云ECS实例及容器服务等计算资源的文件存储服务，满足以Hadoop为代表的分布式计算业务类型对分布式存储性能、容量和可靠性的多方面要求。表格存储 表格存储...
文件存储 HDFS 版 提供两种SDK，分别为管控系统SDK和文件系统SDK。仅管控系统支持Python SDK，文件系统仅支持Java SDK。更多有关管控系统支持的SDK语言，请参见 OpenAPI。
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。单个文件系统存在用户和组数量的限制...
文件存储 HDFS 版 为目录和文件提供了一种访问权限，该访问权限类似于POSIX文件系统的权限模型。本文简要介绍访问权限的概念、使用方式及其相关注意事项。访问权限介绍 文件存储 HDFS 版 文件系统中的每一个文件或者目录会关联到三个权限...
site.xml
文件中添加如下配置项：<configuration><property><name>fs.accessPolicies.discovery</name><value>oss:/<bucket_name>.<dls_endpoint>/</value></property><property><name>fs.AbstractFileSystem.
hdfs.impl</name><value>...
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。单个文件系统存在用户和组数量的限制...
本产品（文件存储 HDFS 版/2018-06-20）的OpenAPI采用 RPC 签名风格，签名细节参见 签名机制说明。我们已经为开发者封装了常见编程语言的SDK，开发者可通过 下载SDK 直接调用本产品OpenAPI而无需关心技术细节。如果现有SDK不能满足使用需求...
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息，请参见文件和目录权限。文件系统不允许删除用户和组，只能删除用户和...
HDFS（Hadoop Distributed File System）是一种Hadoop分布式文件系统，具备高度容错特性，支持高吞吐量数据访问，可以在处理海量数据（TB或PB级别以上）的同时最大可能的降低成本。HDFS适用于大规模数据的分布式读写，特别是读多写少的场景...
mv jindo-util jindo 新建配置文件 jindosdk.cfg，然后在配置文件中添加以下配置项。[common]保持以下默认配置。logger.dir=tmp/jindo-util/logger.sync=false logger.consolelogger=false logger.level=0 logger.verbose=0 logger.cleaner...
Apache HDFS透明缓存加速可以利用计算集群的闲置存储资源对远端HDFS集群进行数据缓存，避免了计算集群或服务占用核心集群过多带宽。当HDFS集群和计算集群分离，HDFS集群访问性能不及预期时，您可以通过在计算集群或靠近计算集群的地方缓存...
接口说明 在修改文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
API 应用程序编程接口 用户开放API，在API网关录入API，以提供接口的方式对外提供服务或者数据。Group API Group API分组 一组API。用户开放API，首先需要创建API分组 每个API分组拥有一个二级域名，两个Stage 用户需要将已经备案且解析至...
数据迁移完成后，您还需要配置CDH上的HDFS服务、YARN服务、Hive服务、Spark服务、HBase服务，才能使用 文件存储 HDFS 版。配置Cloudera Management服务 执行以下命令，将最新的 文件存储 HDFS 版 Java SDK复制到Cloudera Management服务的...
具体操作，请参见 开通文件存储HDFS版服务。创建文件系统。具体操作，请参见 创建文件系统。（可选）创建权限组，并设置规则。具体操作，请参见 管理权限组。创建挂载点。具体操作，请参见 管理挂载点。安装Apache Hadoop。下载Apache ...
如果您是初次使用 文件存储 HDFS 版 文件系统，可使用该API创建组并关联用户。DeleteUserGroupsMapping：删除用户和组的映射关系。ListUserGroupsMappings：查看用户和组的映射关系。使用限制 用户名和组名命名规则：必须以字母或者下划线...
中文 释义 API 应用程序编程接口，是一些预先定义的函数，或指软件系统不同组成部分衔接的约定。API 分组 用于将 API 进行逻辑的分组，同个分组下的 API 使用相同的分组标识做隔离。分组标识 是网关全局的唯一标识，用于定位在访问的 API。...
HDFS Shell是Hadoop分布式文件系统（HDFS）提供的命令行工具。Lindorm文件引擎100%兼容HDFS协议，您可以通过HDFS Shell工具交互式管理文件引擎中存储的文件，例如文件查询、文件删除、文件权限管理和修改文件名称等。本文介绍通过HDFS ...
接口说明 在创建文件系统前，请先了解文件存储 HDFS 版的 计费方式 和 HDFS 产品定价。调试 您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。调试 授权信息 当前...
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
本文主要介绍 文件存储 HDFS 版 的产品规格限制、协议功能限制、Hadoop fs命令限制及API限制。文件系统限制 限制项 限制说明 每个账号在单个地域内可创建的文件系统数量 3个 单个文件系统可创建的挂载点数量 2个 单个文件系统同一时刻可...
HDFS是一个分布式文件系统，为您提供读取和写入HDFS双向通道的功能，本文为您介绍DataWorks的HDFS数据同步的能力支持情况。支持的版本 目前不支持阿里云文件存储HDFS版。使用限制 离线读 使用HDFS Reader时，请注意以下事项：由于连通默认...
e389e5c7-bcb4-4558-846a-e5afc444*InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 个 ECS 实例 ID。["i-bp1g6zv0ce8oghu7*","i-bp1g6zv0ce8oghu1*...
取值：Primary（默认值）：ECS 实例上的预留默认 VSC Secondary：ECS 实例上的可重复 VSC Primary InstanceIds object 否 待挂载文件存储 HDFS 版文件系统的 ECS 实例 ID。添加多个 ECS 实例 ID 时，使用半角逗号（,）分隔。最多支持 100 ...
背景信息 Hive数仓系统由以下三部分内容组成：不同格式的数据文件，通常存储在Hadoop分布式文件系统（HDFS）或对象存储系统（例如，阿里云OSS）中。存储着数据文件到Schema和Table映射的元数据。该元数据存储在数据库（例如，MySQL）中，并...
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个...
本文介绍使用 文件存储 HDFS 版 文件系统SDK时遇到的常见问题及排查方法。提示 java.lang.ClassNotFoundException 信息 执行 hadoop 命令或者任务失败，提示 java.lang.ClassNotFoundException:Class ...
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"RequestId":"55C5FFD6-BF99-41BD-9C66-FFF39189*...
您可以在已挂载的 VPC 网段内通过此域名访问文件存储 HDFS 版文件系统。f-37af8f42f*.cn-hangzhou.dfs.aliyuncs.com RegionId string 地域 ID。cn-hangzhou 示例 正常返回示例 JSON 格式 {"TotalCount":1,"RequestId":"55C5FFD6-BF99-41BD-...
文件存储 HDFS 版（Apsara File Storage for HDFS）审计日志样例 以下示例表示，在北京时间2023年03月23日14:41:28，阿里云账号 137918634953*调用CreateFileSystem接口创建了 文件存储 HDFS 版（Apsara File Storage for HDFS）文件系统 ...
HDFS Version string 阿里云文件存储 HDFS 版的版本，非 hadoop 版本。1.0.0 MeteringSpaceSize float 文件系统的计费容量。单位：字节（byte）。计费容量=MAX[（文件数+目录数）*5MiB，使用容量]。统计数据，不作为计费数据，仅作参考。...
授予RAM用户对 文件存储 HDFS 版 管控系统只读权限 {"Version":"1","Statement":[{"Action":["dfs:Get*","dfs:List*"],"Resource":"*","Effect":"Allow"}]} 示例二：授予RAM用户对文件系统的权限 说明为 文件存储 HDFS 版 文件系统实例ID，...
资源类型 资源ARN FileSystem acs:dfs:{#regionId}:{#accountId}:filesystem/{#FileSystemId} 条件（Condition）文件存储HDFS（DFS）未定义产品级别的条件关键字。如需查看适用于所有云产品的通用条件关键字，请参见 通用条件关键字。相关...
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开回收站功能后，Hadoop Shell会调用FileSystem的rename操作，把待删除的文件或者目录移动到/user/<username>/....
使用OSS-HDFS回收站时，需要客户端将待删除文件挪至指定目录，并由服务端...如果您需要使用回收站功能，需要显式地调用FileSystem的rename接口，将目标文件手动挪到/user/<username>/.Trash/Current 目录下，由OSS-HDFS服务端负责定期删除。