本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
文件存储NAS已与云监控无缝集成。通过容量监控功能，您可以实时了解文件系统的使用情况，例如查看文件系统存储空间数据量、低频读写数据量、文件数、已使用数据量等。本文介绍如何查看NAS的容量监控数据。前提条件 已创建NAS文件系统。具体...
通过文件存储控制台查看 登录 NAS控制台。在左侧导航栏，选择 监控审计 容量监控。在顶部菜单栏，选择地域。在 容量监控 页面，执行以下操作，查看目标CPFS文件系统的容量监控详情。在 文件系统类型 下拉列表，选择 CPFS智算版。在 文件...
通过文件存储控制台查看 登录 NAS控制台。在左侧导航栏，选择 监控审计 容量监控。在顶部菜单栏，选择地域。在 容量监控 页面，执行以下操作，查看目标CPFS文件系统的容量监控详情。在 文件系统类型 下拉列表，选择 CPFS。在 文件系统ID ...
当磁盘配额达到上限时，您还可以通过手动在线扩容的方式对存储卷进行扩容且不影响业务运行。前提条件 csi-plugin的镜像版本不低于v1.18.8.45。关于csi-plugin的版本说明，请参见 csi-plugin。NAS存储卷需要使用子目录进行挂载。背景信息 ...
将Hadoop或其他机器学习应用部署在多个计算资源上，应用可以直接通过Hadoopfs接口访问数据进行离线或在线计算，也可以直接将计算结果输出到文件存储HDFS版做永久保存。性能 衡量文件存储HDFS版的性能指标主要是吞吐能力。吞吐最大不会超过...
数据库文件存储（DBFS），是一款针对数据库场景的云原生共享文件存储服务。它基于共享存储架构设计，通过文件协议提供数据库定制功能，具备企业级存储特性。主要服务于云上自建数据库，基于传统SAN的应用等，为用户提供极致IO性能和高可用...
文件存储NAS必须通过内网进行挂载，如果外部要挂载NAS，则必须打通NAS所在VPC的内网。具体操作，请参见 本地数据中心访问文件系统。为什么Linux无法挂载SMB文件系统？Linux操作系统挂载SMB文件系统失败可能存在多种原因，请参照挂载失败的...
解决方案 您可以选择以下任意一种解决方案：解冻文件：先对源文件进行解冻，解冻完成后支持UploadPartCopy请求。具体操作，请参见 解冻文件。开启归档直读：先为源文件所在的存储空间开启归档直读。开启归档直读后，存储空间下的所有归档...
服务资源调配能力 阿里云归档存储为用户提供文件的归档存储服务，并支持用户通过网络进行文件的上传和下载。归档存储对用户的存储容量不设置上限，根据需要，存储容量将实时动态扩展。随着使用量的增长，归档存储后台处理能力会自动扩展，...
例如，源文件存储类型为归档类型。问题示例 以下CopyObject请求中x-oss-copy-source请求头指向的源文件archived-object为归档类型，归档类型文件处于不可读取状态。PUT/target-object ...
步骤五：验证Apache Spark配置 使用Spark读取 文件存储 HDFS 版 上面的文件进行WordCount计算，并将计算结果写入 文件存储 HDFS 版。执行以下命令，在 文件存储 HDFS 版 上生成测试数据。hadoop jar${HADOOP_HOME}/share/hadoop/mapreduce/...
使用触发器可以对存储空间（Bucket）中的增量文件进行批量处理。例如，您可以将新增的.docx文件转换成.pdf格式，或将.mov文件转码为.mp4等。与批处理不同，触发器只会对创建触发器之后OSS内新增的文件进行处理，而不会处理存量文件。说明 ...
使用批处理对存储空间（Bucket）中存量文件进行批量处理。例如将Bucket某个目录中后缀为.docx的文件转换成PDF格式、将所有MOV格式的文件转码为MP4等。说明 新版数据处理功能API、SDK支持在 IMM服务接入点 中的地域进行使用。注意事项 批...
文件系统资源数据监控 通过文件存储NAS控制台支持对文件系统实例的性能和容量进行数据监控。关于监控更多信息，请参见 数据监控。性能监控数据 在 性能监控 页面，选择文件系统类型和目标文件系统ID，查看该文件系统的读写IOPS、读写延迟、...
在云监控服务的 云产品监控 页面，选择 存储 文件存储NAS 可查看文件系统实例的性能和容量等监控数据。通过云监控SDK查看 通过云监控API支持对文件存储NAS的文件系统实例进行数据监控。您可以通过OpenAPI直接调用云监控的 ...
存储空间的读写权限（ACL）有以下三类：读写权限 描述 读写权限值 私有 只有Bucket的拥有者可以对该Bucket内的文件进行读写操作，其他人无法访问该Bucket内的文件。Aliyun:OSS:ACL:PRIVATE 公共读 只有该Bucket的拥有者可以对该Bucket内的...
文件系统资源数据监控 通过文件存储NAS控制台支持对文件系统实例的性能和容量进行数据监控。关于监控更多信息，请参见 数据监控。性能监控数据 在 性能监控 页面，选择文件系统类型和目标文件系统ID，查看该文件系统的读写IOPS、读写延迟、...
通过文件系统列表页面 登录 NAS控制台。在左侧导航栏，选择 文件系统 文件系统列表。在顶部菜单栏，选择地域。在文件系统列表页面，找到目标文件系统，单击操作列的 图标 卸载。在 卸载 面版，完成卸载操作。选择待卸载挂载目录的挂载点，...
统计文件存储容量大小。打开csv清单文件，文件中的C列数据总大小即为bill前缀所有文件的总存储容量，单位为字节。（可选）删除清单规则。设置清单报告导出周期为 每天，能够满足您快速获取清单文件的需求。在清单规则未被删除前，OSS会按照...
使用 云备份 将文件备份到云备份备份库后，当文件系统中文件丢失或者受损时，您可以根据历史备份，将全量文件或者满足条件的部分文件进行恢复。可以恢复到源CPFS通用版文件系统，或者恢复到一个新的CPFS通用版文件系统。前提条件 已完成...
使用 云备份 将文件备份到云备份备份库后，当文件系统中文件丢失或者受损时，您可以根据历史备份，将全量文件或者满足条件的部分文件进行恢复。可以恢复到源CPFS智算版文件系统，或者恢复到一个新的CPFS智算版文件系统。前提条件 已完成...
通过使用 cp 命令，您可以高效地管理和迁移数据，该命令支持单个文件或批量文件的上传、下载和复制。注意事项 执行上传、下载或拷贝操作前，请确保具有相应的权限，具体授权操作请参见 为RAM用户授予自定义的权限策略。cp 命令不支持跨账号...
工作流程 创建/打开文件：通过 POSIX create 接口创建一个文件，或通过 POSIX open 接口打开一个已有的文件，此时ossfs会在本地磁盘上创建一个缓存文件。写入数据：通过 POSIX write 接口持续写入数据，ossfs会将数据写入磁盘上的缓存文件...
接口说明 文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。单个文件系统存在用户和组数量的限制...
文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。文件系统不允许删除用户和组，只能删除用户和组的...
文件存储 HDFS 版的文件系统权限管理依赖文件的用户和组，用户和组映射关系需要通过 OpenAPI 进行管理。有关文件存储 HDFS 版文件系统目录和文件访问权限的信息，请参见 目录和文件访问权限。单个文件系统存在用户和组数量的限制，包括：...
本文介绍在使用CPFS-POSIX客户端挂载的CPFS文件系统上，如何设置NFSv4 ACL来进行文件或目录权限管理。前提条件 已完成挂载CPFS文件系统。具体操作，请参见 快速入门（CPFS-POSIX）。说明 CPFS-NFS协议服务仅支持NFS v3服务，不支持NFSv4 ...
如果想达到文件存储NAS的官网性能指标，建议使用多台ECS进行测试。文件存储NAS的官网性能指标，请参见 文件存储 NAS。注意事项 性能测试前，请注意以下事项。吞吐最大不会超过ECS内网带宽，如果内网带宽太小，则吞吐会被流量控制。例如，您...
本文介绍阿里云 文件存储 HDFS 版 提供的文件系统SDK和管控系统SDK。目前，公测期间只提供文件系统SDK，管控操作则通过控制台进行。文件系统SDK 文件系统SDK实现了 Hadoop FileSystem 接口，提供一种Hadoop兼容的文件系统，对外输出为一个...
云存储网关与OSS是相互独立的云产品，为保证您通过网关看到的文件视图与OSS一致，需要有特殊的元数据同步机制进行维护。本文介绍几种同步网关与OSS文件视图的方法与原理。如果您需要通过云存储网关看到OSS上的变化，可以参考本文中反方向...
若应用需要保证多客户端强一致性，建议使用 云存储网关CSG 或 文件存储CPFS，不建议使用ossfs。在文件数量较多的情况下，适当增大 max_stat_cache_size 值以避免频繁淘汰。如果操作的文件数过多，且服务器内存又不足时，建议使用 ossutil ...
OSS支持标准、低频访问、归档、冷归档、深度冷归档多种存储类型，您可以通过预先设定的生命周期规则，自动转换文件（对象）的存储类型。或者，您也可以通过CopyObject的方式，手动随时转换文件（Object）的存储类型。警告 对开通了OSS-HDFS...
本文列举 文件存储 HDFS 版 的计费常见问题。计费 开通文件存储 HDFS 版服务后，就开始计费吗？文件存储 HDFS 版服务如何停止计费？删除存储数据后，为什么控制台显示的存储容量不变，账单没有减少？使用文件系统上传下载数据时，是否计费...
阿里云文件存储NAS（File Storage NAS）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。文件存储NAS 目前提供极速型、通用性能型、...
高数据压缩率存储：列存储能够更有效地利用数据的重复性，通过结合RLE、DICTIONARY、DELTA、BIT-PACKING等压缩编码方法，对数据进行压缩，从而提高存储空间的利用率，进而降低存储成本。海量数据的实时分析 针对时序的热数据，采用 表格...
文件存储 HDFS 版 具有无缝集成、共享访问、安全控制、线性扩展等多种特性。无缝集成 文件存储 HDFS 版 允许您就像在Hadoop分布式文件系统（HDFS）中一样管理和访问数据。文件存储 HDFS 版 SDK可在所有Apache Hadoop 2.x环境中使用，包括...
如果 hadoop fs 命令可以成功运行，但是无法执行分析任务，请确认YARN等任务执行框架在安装完 文件存储 HDFS 版 文件系统SDK后进行了重启。例如：您可以执行以下命令重启YARN：${HADOOP_HOME}/sbin/stop-yarn.sh${HADOOP_HOME}/sbin/start-...
1.挂载数据库文件存储（DBFS）的约束？数据库文件存储（DBFS）默认会在“/mnt/dbfs”目录下创建挂载点（例如，“/mnt/dbfs/xxxxxx”）。数据库文件存储（DBFS）要求挂载点为空，即“/mnt/dbfs/xxxxxx”目录为空，不能在挂载点下存在文件...
阿里云文件存储NAS是一个可共享访问，弹性扩展，高可靠，高性能的分布式文件系统。兼容POSIX文件接口，可支持上千台弹性计算ECS、容器服务ACK等计算节点共享访问，您无需修改应用程序，即可无缝迁移业务系统上云。