本文描述文件存储NAS支持的所有系统权限策略及其对应的权限描述，供您授权 RAM 身份时参考。什么是系统权限策略 权限策略是用语法结构描述的一组权限的集合，可以精确地描述被授权的资源集、操作集以及授权条件。阿里云访问控制（RAM）产品...
保存时长 配置存储策略的有效时长。default 是否设置为默认策略，如果是，就代替数据库的默认策略 autogen。说明 一个数据库可以创建多个保留策略，但是只能设置一个默认策略。单击 提交。说明 您可以根据需求设置 shard保存时长 的值。...
文件存储 HDFS 版 常用的系统策略包括以下两种：AliyunHDFSFullAccess（不推荐）：为RAM用户授予 文件存储 HDFS 版 管控系统的完全管理权限。该权限风险很高，不推荐使用。AliyunHDFSReadOnlyAccess：为RAM用户授予 文件存储 HDFS 版 管控...
本文以OSS为例，介绍如何将Hadoop文件系统上的数据迁移至JindoFS。迁移数据 Hadoop FsShell 对于文件较少或者数据量较小的场景，可以直接使用Hadoop的FsShell进行同步：hadoop dfs-cp hdfs:/emr-cluster/README.md jfs:/emr-jfs/hadoop dfs...
说明 使用 hadoop distcp 命令将原集群数据迁移至 文件存储 HDFS 版 时，请注意 文件存储 HDFS 版 不支持以下参数，其它参数使用和 Hadoop DistCp工具官方说明文档 一致。文件存储 HDFS 版 及命令行存在限制的更多信息，请参见 使用限制。...
本文主要介绍如何使用Fuse-DFS工具实现 文件存储 HDFS 版 在本地文件系统的映射。前提条件 已 创建文件系统 和 添加挂载点。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。建议您使用的Hadoop版本不低于2.7.2，本文使用的Hadoop版本...
CPFS并行文件存储 提供高性能计算文件存储，支持标准的POSIX和MPI-IO协议，自带的高性能计算程序无需任何接口适配和性能优化即可高效执行，满足高性能文件存储需求。产品架构 CPFS并行文件存储 是针对高性能和超大规模存储场景推出的文件...
本文主要介绍在 文件存储 HDFS 版 上使用Apache HBase的方法。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不低于1.8。已部署...
常见问题 整体迁移速度受Hadoop集群与文件存储HDFS之间的带宽、集群规模影响。如果迁移数据量大，建议先尝试迁移几个目录评估下整体时间。如果只能在指定时间段内迁移数据，可以将目录切分为几个小目录，依次迁移。一般全量数据同步时，...
Presto使用maven-shade-plugin插件打包，对引入的Hadoop依赖进行了重命名，文件存储 HDFS 版 Java SDK和Hadoop共用了protobuf-xxx.jar包，Presto通过Hive Metastore读取 文件存储 HDFS 版 上的数据时，文件存储 HDFS 版 获取不到Presto重...
本文档介绍 文件存储 HDFS 版 和对象存储OSS之间的数据迁移操作过程。您可以将 文件存储 HDFS 版 数据迁移到对象存储OSS，也可以将对象存储OSS的数据迁移到 文件存储 HDFS 版。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
Hadoop回收站是Hadoop文件系统的重要功能，可以恢复误删除的文件和目录。本文为您介绍Hadoop回收站的使用方法。背景信息 回收站是Hadoop Shell或部分应用（Hive等）对Hadoop FileSystem API在客户端的封装，当客户端配置或者服务端配置打开...
./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/hdfs/lib/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/*:./hadoop-mapreduce/hadoop-2.8.5/share/hadoop/yarn/lib/*:./...
您可以通过查询文件存储NAS的账单，及时了解其收费明细，更好地从费用分配角度进行业务决策。本文为您介绍查询费用账单和用量明细的操作方法。查看文件系统费用账单 登录 用户中心。在左侧导航栏，选择 账单管理>账单详情。在 明细账单 页...
文件存储 阿里云文件存储NAS（Apsara File Storage）是面向阿里云ECS实例、E-HPC和容器服务等计算节点的文件存储服务。它是一种可共享访问、弹性扩展、高可靠以及高性能的分布式文件系统，支持NFS和SMB协议。NAS提供极速型、通用性能型、...
本文介绍如何使用Sqoop工具实现 文件存储 HDFS 版 和关系型数据库MySQL之间的双向数据迁移。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已搭建Hadoop集群。建议您使用的...
本文将帮助您快速部署和使用阿里云 文件存储 HDFS 版。您将完成创建 文件存储 HDFS 版 文件系统并完成挂载操作。部署成功后，您就可以像在Hadoop分布式文件系统（Hadoop Distributed File System）中一样管理和访问数据。前提条件 已开通 ...
挂载多个文件系统 如果要在新购买的ECS实例上同时挂载多个NAS文件系统，请您继续单击 添加文件存储 进行配置。并注意以下几点配置事项：挂载地址：所有的挂载地址必须属于同一个专有网络VPC。如果没有同属于一个VPC的挂载地址，可以为NAS...
本文介绍挂载及卸载 文件存储 HDFS 版 文件系统的操作。前提条件 已为ECS实例安装JDK，且JDK版本不低于1.8。已创建 文件存储 HDFS 版 文件系统并添加挂载点。具体操作，请参见 创建文件系统 和 添加挂载点。已安装Hadoop客户端，建议您使用...
您可以创建基于最后一次修改时间（Last Modified Time）的生命周期规则（Lifecycle），定期将云盒Bucket内的Object和碎片删除，从而节省存储费用。前提条件 仅 华东1（杭州）、华南1（深圳）、华南2（河源）、华北2（北京）、西南1（成都）...
如果您想要以指定规则对文件引擎中存储的数据进行归档，将冷热数据分开存储，可以通过命令设置冷热存储策略，按照目录级别对数据进行划分。冷热分离可以有效提高热数据的查询效率，减少冷数据的存储成本。本文介绍通过开源HDFS客户端设置...
Hudi是一种数据湖的存储格式，在Hadoop文件系统之上提供了更新数据和删除数据的能力，以及消费变化数据的能力。EMR Trino已经将相关JAR包集成至独立的Hudi Plugin里面，EMR Hudi连接器目前支持查询COW和MOR表。背景信息 EMR Hudi的详细信息...
文件存储CPFS与对象存储OSS之间已实现数据流动。您可以通过创建数据流动任务实现不同源端的数据同步。背景信息 当CPFS Fileset 与OSS Bucket创建数据流动后，CPFS文件系统会自动同步OSS Bucket中的对象元数据。同步完成后您能通过高性能且...
本文介绍如何将E-MapReduce HDFS上的数据迁移到 文件存储 HDFS 版 文件系统。背景信息 阿里云E-MapReduce是构建在阿里云云服务器ECS上的开源Hadoop、Spark、Hive、Flink生态大数据PaaS产品。提供用户在云上使用开源技术建设数据仓库、离线...
本文主要介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Spark。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK...
已在文件存储控制台创建一个文件系统，请参见 Linux系统挂载NFS协议文件系统。创建的文件系统需要与您的Kubernetes集群在同一可用区。已在创建好的文件系统中添加容器服务Kubernetes集群的挂载点，请参见 管理挂载点。文件系统挂载时的VPC...
本文介绍如何在挂载 文件存储 HDFS 版 的Hadoop集群上安装及使用Apache Flink。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储HDFS版快速入门。已为Hadoop集群所有节点安装JDK，且JDK版本不...
本文列出了使用Java代码通过Hadoop FileSystem API对 文件存储 HDFS 版 文件系统进行常用操作的示例，您可以参考这些示例代码开发您的应用。前提条件 已开通 文件存储 HDFS 版 服务并创建文件系统实例和挂载点。具体操作，请参见 文件存储...
文件存储服务默认使用AliyunNASManageENIRole角色来访问您在其他云产品中的资源。解决方案：登录 NAS控制台。在 概览 页面的 常用入口 区域，单击 授权管理。在 极速型和CPFS默认服务授权 卡片，单击 前往授权。在 云资源访问授权 页面，...
本文介绍如何在文件存储控制台创建、管理CPFS数据流动任务及查看任务报告。前提条件 已创建CPFS Fileset。具体操作，请参见 创建Fileset。已创建数据流动。具体操作，请参见 创建数据流动。任务说明 任务类型 按任务对数据的操作，可分为...
本文介绍如何使用robocopy工具实现阿里云文件存储NAS SMB协议文件系统之间的数据迁移。前提条件 拥有一个存有数据的SMB协议文件系统，并且拥有一个专有网络类型挂载点。背景信息 Robocopy是Windows系统自带的目录复制命令，该功能可以创建...
ls2命令 JindoFS扩展hadoop ls相关操作，提供ls2命令可以查看文件存储状态。hadoop fs-ls2返回信息会包含文件的存储类型，示例如下。drwxrwxrwx-0 2020-06-05 04:27 oss:/xxxx/warehouse-rw-rw-rw-1 Archive 1484 2020-09-23 16:40 oss:/...
ls2命令 JindoFS扩展hadoop ls相关操作，提供ls2命令可以查看文件存储状态。hadoop fs-ls2返回信息会包含文件的存储类型，示例如下。drwxrwxrwx-0 2020-06-05 04:27 oss:/xxxx/warehouse-rw-rw-rw-1 Archive 1484 2020-09-23 16:40 oss:/...
ls2命令 JindoFS扩展hadoop ls相关操作，提供ls2命令可以查看文件存储状态。hadoop fs-ls2返回信息会包含文件的存储类型，示例如下。drwxrwxrwx-0 2020-06-05 04:27 oss:/xxxx/warehouse-rw-rw-rw-1 Archive 1484 2020-09-23 16:40 oss:/...
ls2命令 JindoFS扩展hadoop ls相关操作，提供ls2命令可以查看文件存储状态。hadoop fs-ls2返回信息会包含文件的存储类型，示例如下。drwxrwxrwx-0 2020-06-05 04:27 oss:/xxxx/warehouse-rw-rw-rw-1 Archive 1484 2020-09-23 16:40 oss:/...
ls2命令 JindoFS扩展hadoop ls相关操作，提供ls2命令可以查看文件存储状态。hadoop fs-ls2返回信息会包含文件的存储类型，示例如下。drwxrwxrwx-0 2020-06-05 04:27 oss:/xxxx/warehouse-rw-rw-rw-1 Archive 1484 2020-09-23 16:40 oss:/...
ls2命令 JindoFS扩展hadoop ls相关操作，提供ls2命令可以查看文件存储状态。hadoop fs-ls2返回信息会包含文件的存储类型，示例如下。drwxrwxrwx-0 2020-06-05 04:27 oss:/xxxx/warehouse-rw-rw-rw-1 Archive 1484 2020-09-23 16:40 oss:/...
ls2命令 JindoFS扩展hadoop ls相关操作，提供ls2命令可以查看文件存储状态。hadoop fs-ls2返回信息会包含文件的存储类型，示例如下。drwxrwxrwx-0 2020-06-05 04:27 oss:/xxxx/warehouse-rw-rw-rw-1 Archive 1484 2020-09-23 16:40 oss:/...