备案控制台
探索云世界
开发者社区 开发与运维 文章 正文

Hadoop HDFS编程 API入门系列之路径过滤上传多个文件到HDFS（二）

2017-11-14 1422
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

代码版本1

复制代码 
  1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs6;
  2 
  3 import java.io.IOException;
  4 import java.net.URI;
  5 import java.net.URISyntaxException;
  6 
  7 import org.apache.hadoop.conf.Configuration;
  8 import org.apache.hadoop.fs.FSDataInputStream;
  9 import org.apache.hadoop.fs.FSDataOutputStream;
 10 import org.apache.hadoop.fs.FileStatus;
 11 import org.apache.hadoop.fs.FileSystem;
 12 import org.apache.hadoop.fs.FileUtil;
 13 import org.apache.hadoop.fs.Path;
 14 import org.apache.hadoop.fs.PathFilter;
 15 /**
 16 * @function 将指定格式的多个文件上传至 HDFS
 17 *
 18 *
 19 */
 20 public class CopyManyFilesToHDFS {
 21 
 22 private static FileSystem fs = null;
 23 private static FileSystem local = null;
 24 
 25 /**
 26 * @function Main 方法
 27 * @param args
 28 * @throws IOException
 29 * @throws URISyntaxException
 30 */
 31 public static void main(String[] args) throws IOException,URISyntaxException
 32 {
 33 //文件源路径 这是在 Windows 下测试运行，如果在 Linux 修改srcPath路径即可
 34 String srcPath = "/home/hadoop/data/*";
 35 //String srcPath = "D://Data/testdata/*";
 36 //或者Path srcPath =new Path("D://Data/testdata/*");
 37 
 38 
 39 //文件目的路径 如果在 Hadoop 环境下运行，使用 dstPath 的相对路径"/copyManyFilesToHDFS/"也可以
 40 String dstPath = "hdfs://HadoopMaster:9000/copyManyFilesToHDFS/";
 41 //或者Path dstPath = new Path("hdfs://HadoopMaster:9000/copyManyFilesToHDFS/");
 42 //调用文件上传 list 方法
 43 list(srcPath,dstPath);
 44 }
 45 
 46 /**
 47 * function 过滤文件格式 将多个文件上传至 HDFS
 48 * @param dstPath 目的路径
 49 * @throws IOException
 50 * @throws URISyntaxException
 51 */
 52 //2.接下来在 list 方法中，使用 globStatus 方法获取所有 txt 文件，然后通过 copyFromLocalFile 方法将文件上传至 HDFS。
 53 public static void list(String srcPath,String dstPath) throws IOException, URISyntaxException {
 54 //读取hadoop配置文件
 55 Configuration conf = new Configuration();
 56 
 57 //获取默认文件系统 在Hadoop 环境下运行，也可以使用此种方法获取文件系统
 58 fs = FileSystem.get(conf);
 59 
 60 //HDFS接口和获取文件系统对象，本地环境运行模式
 61 //URI uri = new URI("hdfs://HadoopMaster:9000");
 62 //fs = FileSystem.get(uri, conf);
 63 //获得本地文件系统
 64 local = FileSystem.getLocal(conf);
 65 //只上传Data/testdata 目录下 txt 格式的文件 ，获得文件目录，即D://Data/testdata/
 66 //FileStatus[] localStatus = local.globStatus(new Path("D://Data/testdata/*"),new RegexAcceptPathFilter("^.*txt$"));
 67 FileStatus[] localStatus = local.globStatus(new Path("/home/hadoop/data/*"),new RegexAcceptPathFilter("^.*txt$"));
 68 // 获得所有文件路径
 69 Path[] listedPaths = FileUtil.stat2Paths(localStatus);
 70 Path out= new Path(dstPath);
 71 //循坏所有文件
 72 for(Path p:listedPaths)
 73 {
 74 //将本地文件上传到HDFS
 75 fs.copyFromLocalFile(p, out);
 76 }
 77 }
 78 
 79 /**
 80 * @function 只接受 txt 格式的文件
 81 * @author 
 82 *
 83 */
 84 // 1.首先定义一个类 RegexAcceptPathFilter实现 PathFilter，过滤掉 txt 文本格式以外的文件。
 85 public static class RegexAcceptPathFilter implements PathFilter 
 86 {
 87 private final String regex;
 88 
 89 public RegexAcceptPathFilter(String regex)
 90 {
 91 this.regex = regex;
 92 }
 93 // 如果要接收 regex 格式的文件，则accept()方法就return flag; 如果想要过滤掉regex格式的文件，则accept()方法就return !flag。
 94 
 95 public boolean accept(Path path) 
 96 {
 97 // TODO Auto-generated method stub
 98 boolean flag = path.toString().matches(regex);
 99 //只接受 regex 格式的文件
100 return flag;
101 }
102 }
103 }
复制代码

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

在Hadoop集群里测试的代码版本

复制代码 
 1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs6;
 2 
 3 import java.io.IOException;
 4 import java.net.URI;
 5 import java.net.URISyntaxException;
 6 
 7 import org.apache.hadoop.conf.Configuration;
 8 import org.apache.hadoop.fs.FSDataInputStream;
 9 import org.apache.hadoop.fs.FSDataOutputStream;
10 import org.apache.hadoop.fs.FileStatus;
11 import org.apache.hadoop.fs.FileSystem;
12 import org.apache.hadoop.fs.FileUtil;
13 import org.apache.hadoop.fs.Path;
14 import org.apache.hadoop.fs.PathFilter;
15 /**
16 * @function 将指定格式的多个文件上传至HDFS，在Hadoop集群里测试
17 * 
18 *
19 */
20 public class CopyManyFilesToHDFS 
21 {
22 
23 private static FileSystem fs = null;//定义文件系统对象，是HDFS上的
24 private static FileSystem local = null; //定义文件系统对象，是本地上的
25 
26 /**
27 * @function Main 方法
28 * @param args    //@param args是生成文档的时候用的东西，现在不用管。以后慢慢就知道了
29 * @throws IOException
30 * @throws URISyntaxException
31 */
32 public static void main(String[] args) throws IOException,URISyntaxException
33 {
34 //文件的原路径，这是在Windows下测试运行，如果在 Linux 修改srcPath路径即可
35 String srcPath = "/home/hadoop/djt/data/*";
36 //String srcPath = "D://Data/testdata/*";
37 //或者Path srcPath =new Path("D://Data/testdata/*");
38 
39 
40 //文件目的路径 如果在 Hadoop 环境下运行，使用 dstPath 的相对路径"/middle/filter/"也可以
41 String dstPath = "hdfs://HadoopMaster:9000/middle/filter/";
42 //或者Path dstPath = new Path("hdfs://HadoopMaster:9000/middle/filter/");
43 //调用文件上传 list 方法
44 list(srcPath,dstPath);
45 }
46 
47 /**
48 * function 过滤文件格式 将多个文件上传至 HDFS
49 * @param dstPath 目的路径
50 * @throws IOException
51 * @throws URISyntaxException
52 */
53 //2.接下来在 list 方法中，使用 globStatus 方法获取所有 txt 文件，然后通过 copyFromLocalFile 方法将文件上传至 HDFS。
54 public static void list(String srcPath,String dstPath) throws IOException, URISyntaxException 
55 {
56 Configuration conf = new Configuration();//读取hadoop配置文件
57 fs = FileSystem.get(conf);//获取默认文件系统对象，fs。 在Hadoop 环境下运行，也可以使用此种方法获取文件系统
58 //URI uri = new URI("hdfs://HadoopMaster:9000");//HDFS接口和获取文件系统对象，本地环境运行模式
59 //fs = FileSystem.get(uri, conf);
60 local = FileSystem.getLocal(conf);//获得本地文件系统对象，local
61 //只上传Data/testdata 目录下 txt 格式的文件 ，获得文件目录，即D://Data/testdata/
62 //FileStatus[] localStatus = local.globStatus(new Path("D://Data/testdata/*"),new RegexAcceptPathFilter("^.*txt$"));
63 FileStatus[] localStatus = local.globStatus(new Path("/home/hadoop/djt/data/*"),new RegexAcceptPathFilter("^.*txt$"));//接收目录下的 txt 文件
64 // 获得所有文件路径
65 Path[] listedPaths = FileUtil.stat2Paths(localStatus);
66 Path out= new Path(dstPath);
67 //循坏所有文件
68 for(Path p:listedPaths)
69 {
70 //将本地文件上传到HDFS
71 fs.copyFromLocalFile(p, out);
72 }
73 }
74 
75 /**
76 * @function 只接受 txt 格式的文件
77 * @author 
78 *
79 */
80 // 1.首先定义一个类 RegexAcceptPathFilter实现 PathFilter，过滤掉 txt 文本格式以外的文件。
81 public static class RegexAcceptPathFilter implements PathFilter 
82 {
83 private final String regex;
84 
85 public RegexAcceptPathFilter(String regex)
86 {
87 this.regex = regex;
88 }
89 // 如果要接收 regex 格式的文件，则accept()方法就return flag; 如果想要过滤掉regex格式的文件，则accept()方法就return !flag。
90 @Override
91 public boolean accept(Path path) 
92 {
93 // TODO Auto-generated method stub
94 boolean flag = path.toString().matches(regex);
95 //只接受 regex 格式的文件
96 return flag;
97 }
98 }
99 }
复制代码

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

在Eclipse/MyEclipse集群里测试的代码版本

复制代码 
  1 package zhouls.bigdata.myWholeHadoop.HDFS.hdfs6;
  2 
  3 import java.io.IOException;
  4 import java.net.URI;
  5 import java.net.URISyntaxException;
  6 
  7 import org.apache.hadoop.conf.Configuration;
  8 import org.apache.hadoop.fs.FSDataInputStream;
  9 import org.apache.hadoop.fs.FSDataOutputStream;
 10 import org.apache.hadoop.fs.FileStatus;
 11 import org.apache.hadoop.fs.FileSystem;
 12 import org.apache.hadoop.fs.FileUtil;
 13 import org.apache.hadoop.fs.Path;
 14 import org.apache.hadoop.fs.PathFilter;
 15 /**
 16 * @function 将指定格式的多个文件上传至 HDFS，在MyEclipse里测试
 17 * @author 小讲
 18 *
 19 */
 20 public class CopyManyFilesToHDFS {
 21 
 22 
 23 private static FileSystem fs = null;//定义文件系统对象，是HDFS上的
 24 private static FileSystem local = null;//定义文件系统对象，是本地上的
 25 
 26 /**
 27 * @function Main 方法
 28 * @param args
 29 * @throws IOException
 30 * @throws URISyntaxException
 31 */
 32 public static void main(String[] args) throws IOException,URISyntaxException
 33 {
 34 //文件源路径 这是在 Windows 下测试运行，如果在 Linux 修改srcPath路径即可
 35 String srcPath = "D://data/testdata/*";
 36 //或者Path srcPath =new Path("D://Data/testdata/*");
 37 
 38 //文件目的路径 如果在 Hadoop 环境下运行，使用 dstPath 的相对路径"/middle/filter/"也可以
 39 String dstPath = "hdfs://HadoopMaster:9000/middle/filter/";
 40 //或者Path dstPath = new Path("hdfs://HadoopMaster:9000/middle/filter/");
 41 //调用文件上传 list 方法
 42 list(srcPath,dstPath);
 43 }
 44 
 45 /**
 46 * function 过滤文件格式 将多个文件上传至 HDFS
 47 * @param dstPath 目的路径
 48 * @throws IOException
 49 * @throws URISyntaxException
 50 */
 51 //2.接下来在 list 方法中，使用 globStatus 方法获取所有 txt 文件，然后通过 copyFromLocalFile 方法将文件上传至 HDFS。
 52 public static void list(String srcPath,String dstPath) throws IOException, URISyntaxException
 53 {
 54 //读取hadoop配置文件
 55 Configuration conf = new Configuration();
 56 
 57 //获取默认文件系统 在Hadoop 环境下运行，也可以使用此种方法获取文件系统
 58 //fs = FileSystem.get(conf);
 59 
 60 //HDFS接口和获取文件系统对象，本地环境运行模式
 61 URI uri = new URI("hdfs://HadoopMaster:9000");
 62 fs = FileSystem.get(uri, conf);
 63 
 64 local = FileSystem.getLocal(conf);//获得本地文件系统
 65 //只上传Data/testdata 目录下 txt 格式的文件 ，获得文件目录，即D://Data/testdata/
 66 FileStatus[] localStatus = local.globStatus(new Path("D://Data/testdata/*"),new RegexAcceptPathFilter("^.*txt$"));
 67 // 获得所有文件路径
 68 Path[] listedPaths = FileUtil.stat2Paths(localStatus);
 69 Path out= new Path(dstPath);
 70 //循坏所有文件
 71 for(Path p:listedPaths)
 72 {
 73 //将本地文件上传到HDFS
 74 fs.copyFromLocalFile(p, out);
 75 }
 76 }
 77 
 78 /**
 79 * @function 只接受 txt 格式的文件
 80 * @author 
 81 *
 82 */
 83 // 1.首先定义一个类 RegexAcceptPathFilter实现 PathFilter，过滤掉 txt 文本格式以外的文件。
 84 public static class RegexAcceptPathFilter implements PathFilter 
 85 {
 86 private final String regex;
 87 
 88 public RegexAcceptPathFilter(String regex)
 89 {
 90 this.regex = regex;
 91 }
 92 // 如果要接收 regex 格式的文件，则accept()方法就return flag; 如果想要过滤掉regex格式的文件，则accept()方法就return !flag。
 93 @Override
 94 public boolean accept(Path path) 
 95 {
 96 // TODO Auto-generated method stub
 97 boolean flag = path.toString().matches(regex);
 98 //只接受 regex 格式的文件
 99 return flag;
100 }
101 }
102 }
复制代码

 

 

 

 

 

 

代码版本2

复制代码 
  1 package com.dajiangtai.Hadoop.HDFS;
  2 
  3 import java.io.IOException;
  4 import java.net.URI;
  5 import java.net.URISyntaxException;
  6 
  7 import org.apache.hadoop.conf.Configuration;
  8 import org.apache.hadoop.fs.FSDataInputStream;
  9 import org.apache.hadoop.fs.FSDataOutputStream;
 10 import org.apache.hadoop.fs.FileStatus;
 11 import org.apache.hadoop.fs.FileSystem;
 12 import org.apache.hadoop.fs.FileUtil;
 13 import org.apache.hadoop.fs.Path;
 14 import org.apache.hadoop.fs.PathFilter;
 15 /**
 16  * @function 将指定格式的多个文件上传至 HDFS
 17  * 使用文件模式，实现多文件上传至HDFS
 18  * @author 小讲
 19  *
 20  */
 21 @SuppressWarnings("unused")
 22 public class CopyManyFilesToHDFS {
 23     
 24     private static FileSystem fs = null;//FileSystem实例对象，即fs
 25     private static FileSystem local = null;//FileSystem实例对象，即Local,本地文件系统
 26 
 27     /**
 28      * @function Main 方法
 29      * @param args
 30      * @throws IOException
 31      * @throws URISyntaxException
 32      */
 33     public static void main(String[] args) throws IOException,URISyntaxException {
 34         //文件上传路径
 35 //        Path dstPath = new Path("hdfs://djt002:9000/outData/copyManyFilesToHDFS/");//这样会在这个默认的copyManyFilesToHDFS.txt里
 36         Path dstPath = new Path("hdfs://djt002:9000/outCopyManyFilesToHDFS/");//要么，你先可以新建好outCopyManyFilesToHDFS这个目录
 37 
 38         
 39         //调用文件上传 list 方法
 40         list(dstPath);
 41     }
 42 
 43     /**
 44      * function 过滤文件格式   将多个文件上传至 HDFS
 45      * @param dstPath 目的路径
 46      * @throws IOException
 47      * @throws URISyntaxException
 48      */
 49     public static void list(Path dstPath) throws IOException, URISyntaxException {
 50         //读取hadoop文件系统的配置
 51         Configuration conf = new Configuration();
 52         //HDFS 接口
 53         URI uri = new URI("hdfs://djt002:9000");
 54         
 55 //        URL、URI与Path三者的区别
 56 //        Hadoop文件系统中通过Hadoop Path对象来代表一个文件    
 57 //        URL（相当于绝对路径）    ->   （文件） ->    URI（相当于相对路径，即代表URL前面的那一部分）
 58 //        URI：如hdfs://dajiangtai:9000
 59 //        如，URL.openStream
 60         
 61         
 62         //获得FileSystem实例fs
 63         fs = FileSystem.get(uri, conf);
 64 //        返回类型是FileSystem，等价于  FileSystem fs = FileSystem.get(uri, conf);
 65     
 66         
 67         //获得FileSystem实例，即Local
 68         local = FileSystem.getLocal(conf);
 69 //        返回类型是LocalFileSystem，等价于  LocalFileSystem  local = FileSystem.getLocal(conf);
 70         
 71 //        为什么要获取到Local呢，因为，我们要把本地D盘下data/74目录下的文件要合并后，上传到HDFS里，所以，我们需先获取到Local，再来做复制工作啦！
 72 
 73          
 74         //只上传data/testdata 目录下 txt 格式的文件
 75         FileStatus[] localStatus = local.globStatus(new Path("D://data/74/*"),new RegexAcceptPathFilter("^.*txt$"));
 76 //        FileStatus[] localStatus = local.globStatus(new Path("./data/copyManyFilesToHDFS/*"),new RegexAcceptPathFilter("^.*txt$"));
 77 //        ^表示匹配我们字符串开始的位置               *代表0到多个字符                        $代表字符串结束的位置
 78 //        RegexAcceptPathFilter来只接收我们需要的，即格式
 79 //        RegexAcceptPathFilter这个方法我们自己写
 80         
 81 //        但是我们，最终是要处理文件里的东西，最终是要转成Path类型，因为Path对象f,它对应着一个文件。
 82         
 83         //获取74目录下的所有文件路径，注意FIleUtil中stat2Paths()的使用，它将一个FileStatus对象数组转换为Path对象数组。
 84         Path[] listedPaths = FileUtil.stat2Paths(localStatus);//localStatus是FileStatus数组类型
 85 
 86         for(Path p:listedPaths){//for星型循环，即将listedPaths是Path对象数组，一一传给Path p
 87             //将本地文件上传到HDFS
 88             fs.copyFromLocalFile(p, dstPath);
 89             //因为每一个Path对象p，就是对应本地下的一个文件，
 90             
 91         }
 92     }
 93 
 94     /**
 95      * @function 只接受 txt 格式的文件aa
 96      * @author 小讲
 97      *
 98      */
 99     public static class RegexAcceptPathFilter implements PathFilter {
100         private final String regex;//变量
101 
102         public RegexAcceptPathFilter(String regex) {
103             this.regex = regex;//意思是String regex的值，赋给当前类RegexAcceptPathFilter所定义的private final String regex;
104         }
105 
106         public boolean accept(Path path) {//主要是实现accept方法
107             // TODO Auto-generated method stub
108             boolean flag = path.toString().matches(regex);//匹配正则表达式，这里是^.*txt$
109             //只接受 regex 格式的文件
110             return flag;//如果要接收 regex 格式的文件，则accept()方法就return flag; 如果想要过滤掉regex格式的文件，则accept()方法就return !flag。
111         }
112     }
113 }
复制代码

 


本文转自大数据躺过的坑博客园博客，原文链接：http://www.cnblogs.com/zlslch/p/6173719.html，如需转载请自行联系原作者

文章标签：
分布式计算
Hadoop
API
Linux
Android开发
Windows
关键词：
文件存储HDFS版文件
API路径
hadoop hdfs
文件存储HDFS版hadoop
API编程
技术小哥哥
目录
相关文章
IT胡图图
|
1月前
|
Java API Maven
HDFS的API操作
HDFS的API操作
IT胡图图
26 0
诸葛子房
|
4月前
|
存储 分布式计算 Hadoop
Hadoop系列HDFS详解
Hadoop系列HDFS详解
诸葛子房
41 0
cheems~
|
3月前
|
API C++
socket编程之常用api介绍与socket、select、poll、epoll高并发服务器模型代码实现(1)
前言   本文旨在学习socket网络编程这一块的内容，epoll是重中之重，后续文章写reactor模型是建立在epoll之上的。
cheems~
34 0
cheems~
|
3月前
|
监控 安全 Linux
socket编程之常用api介绍与socket、select、poll、epoll高并发服务器模型代码实现(3)
高并发服务器模型-poll poll介绍   poll跟select类似, 监控多路IO, 但poll不能跨平台。其实poll就是把select三个文件描述符集合变成一个集合了。
cheems~
36 0
yuanzhengme
|
12天前
|
分布式计算 Hadoop 测试技术
Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
【4月更文挑战第5天】Hadoop【基础知识 05】【HDFS的JavaAPI】（集成及测试）
yuanzhengme
39 8
yuanzhengme
|
12天前
|
分布式计算 资源调度 Hadoop
Hadoop【基础知识 03+04】【Hadoop集群资源管理器yarn】（图片来源于网络）（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第5天】Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
41 9
yuanzhengme
|
13天前
|
分布式计算 Hadoop Shell
Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
【4月更文挑战第4天】Hadoop【基础知识 04】【HDFS常用shell命令】（hadoop fs + hadoop dfs + hdfs dfs 使用举例）
yuanzhengme
28 5
薛伟同学
|
14天前
|
存储 Java 关系型数据库
掌握Java 8 Stream API的艺术：详解流式编程（一）
掌握Java 8 Stream API的艺术：详解流式编程
薛伟同学
47 1
爱吃糖的范同学
|
16天前
|
存储 分布式计算 Hadoop
【Hadoop】HDFS 读写流程
【4月更文挑战第9天】【Hadoop】HDFS 读写流程
爱吃糖的范同学
29 0
泡沫o0
|
1月前
|
算法 Linux API
【Linux系统编程】一文了解 Linux目录的创建和删除API 创建、删除与读取
【Linux系统编程】一文了解 Linux目录的创建和删除API 创建、删除与读取
泡沫o0
28 0
【Linux系统编程】一文了解 Linux目录的创建和删除API 创建、删除与读取

热门文章

最新文章

  • 1
    利用Hive与Hadoop构建大数据仓库：从零到一
  • 2
    大数据处理架构Hadoop
  • 3
    Hadoop【hadoop学习大纲完全总结01+02+03+04+05】【自学阶段整理的xmind思维导图分享】【点击可放大看高清】
  • 4
    大数据技术与Python：结合Spark和Hadoop进行分布式计算
  • 5
    Hadoop【问题记录 02】【hadoop-3.1.3 单机版】ResourceManager无法启动NodeManager启动后过自动关闭 javax/activation/DataSource
  • 6
    Hadoop【基础知识 03】【Hadoop集群资源管理器yarn】（图片来源于网络）
  • 7
    免费使用Kimi的API接口，kimi-free-api真香
  • 8
    【Hadoop Yarn】Yarn 工作机制
  • 9
    hadoop的伪分布式搭建-带网盘
  • 10
    【Hadoop Yarn】Hadoop Yarn 基于优先级的调度算法
  • 1
    分布式文件系统（HDFS）
    38
  • 2
    Sqoop【付诸实践 01】Sqoop1最新版 MySQL与HDFS\Hive\HBase 核心导入导出案例分享+多个WRAN及Exception问题处理（一篇即可学会在日常工作中使用Sqoop）
    95
  • 3
    Flink报错问题之flink-sql写hdfs报错如何解决
    62
  • 4
    HDFS体系结构的局限性
    47
  • 5
    NameNode和DataNode在HDFS中的作用是什么？
    128
  • 6
    Hadoop的Secondary NameNode在HDFS中的作用是什么？
    38
  • 7
    HDFS中的数据一致性是如何保证的？请解释数据一致性的概念和实现方式。
    85
  • 8
    HDFS的数据读取流程是怎样的？请描述数据读取的过程。
    27
  • 9
    HDFS如何处理故障和节点失效？请解释故障恢复机制。
    51
  • 10
    HDFS的数据写入流程是怎样的？请描述数据写入的过程。
    20

    • 相关课程

    更多
  • 大数据实战项目：反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第三阶段
  • 大数据实战项目 - 反爬虫系统（Lua+Spark+Redis+Hadoop框架搭建）第六阶段
  • 大数据Hadoop快速入门
  • Hadoop快速入门
  • Hadoop 分布式文件系统 HDFS
  • Hadoop企业优化及扩展案例

    • 相关电子书

    更多
  • 数据资源的基础设施API总线
  • API 平台的安全实践
  • API 网关实践

    • 相关实验场景

    更多
  • 快速体验智能体API应用
  • Elasticsearch Java API Client 开发
  • 搭建Hadoop环境
    • 下一篇
    部署LAMP环境（Alibaba Cloud Linux 3）