Java NIO 之 IO模型总结整理

简介:

    这里总结了常用的IO通信模型,列举了5种形式。

  1. 传统IO模型

  1. 1:1形式的同步阻塞IO通信模型 

  wKioL1neux3x3rGqAAEsu3KRvnE438.png

在基于传统同步阻塞模型中:

  • ServerSocket的主要作用?

    1、负责绑定IP地址

    2、启动监听端口;

  • Socket的主要作用?

    负责发起连接操作。

    连接成功后,双方通过输入输出流进(InputStream/OutputStream)行同步阻塞式通信

 

  • 通信过程:

    1)服务端通常由一个独立的Acceptor线程负责监听客户端的连接;

    2)Acceptor监听到客户端的连接请求后,为每个客户端创建一个新的线程进行链路处理;

    3)链路处理线程完成客户端请求的处理后,通过输出流返回应答给客户端,然后线程销毁。

  • 模型缺点:

    1)服务端线程个数与客户端并发访问连接数是11的关系;

    2)随着客户端并发访问量增大,服务端线程个数线性膨胀,系统性能急剧下降。

 

  1. M:N形式的同步阻塞IO通信模型

wKiom1nevqujo8B0AAEIxsiPETk123.png

服务端通过线程池来处理多个客户端的接入请求,通过线程池约束及调配服务端线程资源。

形成客户端个数M:服务端线程池最大线程数N的比例关系

 

通信过程:

    1)当有新的客户端接入时,将客户端Socket封装成一个Task投递到服务端任务队列;

    2)服务端任务线程池中的多个线程对任务队列中的Task进行并行处理;

    3)任务线程处理完当前Task后,继续从任务队列中取新的Task进行处理。

模型缺点:

    1BIO的读和写操作都是同步阻塞的,阻塞时间取决于对端IO线程的处理速度和网络IO的传输速度,可靠性差;

    2)当线程池中所有线程都因对端IO线程处理速度慢导致阻塞时,所有后续接入的客户端连接请求都将在任务队列中排队阻塞堆积;

    3)任务队列堆积满后,新的客户端连接请求将被服务端单线程Acceptor阻塞或拒绝,客户端会发生大量连接失败和连接超时。


  1. 非阻塞式IO模型(NIO)

基础知识

  1. NIO模型

    多路复用器Selector是NIO模型的基础,一个多路复用器Selector可以同时轮询多个注册在它上面的Channel,服务端只需要一个线程负责Selector的轮询,就可以接入成千上万的客户端连接。

模型优点:

    1)NIO中Channel是全双工(是说可以通过Channel 即可完成读操作,也可以完成写操作)的,Channel比流(InputStream/OutputStream)可以更好地映射底层操作系统的API(UNIX网络编程模型中,底层操作系统的通道都是全双工的,同时支持读写操作);

    2)客户端发起的连接操作是异步的,不需要像之前的客户端那样被同步阻塞;(此时,客户端不依赖于服务器端,也就是说客户端发完请求可以做其他其他事情)

    3)一个Selector线程可以同时处理成千上万个client的请求,而且性能不会随着客户端链接的增加而线性下降;原因:JDK的Selector在Linux等主流操作系统上通过epoll实现,它没有连接句柄数的限制,适合做高性能高负载的网络服务器方案

  1. Reactor模式思想:

分而治之+事件驱动

 

1)分而治之

    一个connection里完整的网络处理过程一般分为6步:acceptreaddecodeprocessencodesend

    Reactor模式将每个步骤映射为一个Task,服务端线程执行的最小逻辑单元不再是一次完整的网络请求,而是Task,且采用非阻塞方式执行。

2)事件驱动

    每个Task对应一个特定事件,当Task准备就绪时,对应的事件通知就会发出。

Reactor收到事件通知后,分发给绑定了对应事件的Handler执行Task

 

  1.  NIO+单线程Reactor模式

wKioL1nevRKg3j8hAAHHygE1yNI551.png


说明:

    Reactor:负责响应事件,将事件分发给绑定了该事件的Handler处理;

    Handler:事件处理器,绑定了某类事件,负责执行对应事件的Task对事件进行处理;

    Acceptor:就是处理客户端链接connect事件的; Handler的一种,绑定了connect事件。当客户端发起connect请求时,Reactor会将accept事件分发给Acceptor处理。

 

模型优缺点

    a、单线程版本Reactor模型优点是不需要做并发控制,代码实现简单清晰;

    b、缺点是不能利用多核CPU,一个线程需要执行处理所有的acceptreaddecodeprocessencodesend事件,如果其中decodeprocessencode事件的处理很耗时,则服务端无法及时响应其他客户端的请求事件。

    

  1. NIO+多线程Reactor模式



wKiom1nev8mREIQaAAJLHBiUoX4173.png

    a、使用线程池执行数据的具体处理过程decodeprocessencode,提高数据处理过程的响应速度;

    bReactor所在单线程只需要专心监听处理客户端请求事件acceptreadwrite

 

此模型缺点:

    a、因为Reactor仍是单线程,无法并行响应多个客户端的请求事件(比如同一时刻只能read一个客户端的请求数据)。


  1. NIO+主从多线程Reactor模式



wKiom1nev8qC0XVvAAJYyn0_Ygc075.png

    a、采用多个Reactor,每个Reactor在自己单独线程中执行,可以并行响应多个客户端的请求事件;mainReactor 不再是一个单独的NIO线程,而是一个独立的NIO线程池处理链接请求,认证,登陆等操作

    Acceptor处理完成后,将事件注册到subReactor线程池中的某个IO线程上去,此IO线程继续完成后面的IO操作

    bNetty采用类似这种模式,boss线程池就是多个mainReactorworker线程池就是多个subReactor

    

总结:

    1、对IO模型整体有个认识,为以后使用IO模型积累经验

    2、为接下来深入分析Netty中的IO模型积累经验

    3、分而治之的思想,为以后做其他框架积累经验


















本文转自故新51CTO博客,原文链接: http://blog.51cto.com/xingej/1971598,如需转载请自行联系原作者




相关文章
|
1月前
|
存储 Java 数据处理
|
1月前
|
Java
Java代码居然能画出抛物线模型
Java代码居然能画出抛物线模型
20 0
|
1月前
|
Java API
java中IO与NIO有什么不同
java中IO与NIO有什么不同
|
6天前
|
监控 Java 开发者
深入理解 Java 网络编程和 NIO
【4月更文挑战第19天】Java网络编程基于Socket,但NIO(非阻塞I/O)提升了效率和性能。NIO特点是非阻塞模式、选择器机制和缓冲区,适合高并发场景。使用NIO涉及通道、选择器和事件处理,优点是高并发、资源利用率和可扩展性,但复杂度、错误处理和性能调优是挑战。开发者应根据需求选择是否使用NIO,并深入理解其原理。
|
20天前
|
存储 Java
探索 Java IO 流的多种实现方式
【4月更文挑战第4天】Java IO 流是处理输入输出的关键组件,包括文件流(FileInputStream/FileOutputStream)、字符流(FileReader/FileWriter)、缓冲区流(BufferedInputStream/BufferedOutputStream)、转换流(InputStreamReader/OutputStreamWriter)、数据流(DataInputStream/DataOutputStream)、对象流(ObjectInputStream/ObjectOutputStream)、随机访问文件流(RandomAccessFile)和管道流。
|
1月前
|
Java 关系型数据库 MySQL
Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig
【2月更文挑战第33天】Flink1.18.1和CDC2.4.1 本地没问题 提交任务到服务器 报错java.lang.NoClassDefFoundError: Could not initialize class io.debezium.connector.mysql.MySqlConnectorConfig
51 2
|
1月前
|
Java
|
4月前
|
存储 监控 Java
Java输入输出:什么是NIO(New I/O)?
Java输入输出:什么是NIO(New I/O)?
33 1
|
6月前
|
存储 Java API
Java NIO+示例代码
Java NIO(New IO)是 JDK 1.4 引入的一组新的 I/O API,用于支持非阻塞式 I/O 操作。相比传统的 Java IO API,NIO 提供了更快、更灵活的 I/O 操作方式,可以用于构建高性能网络应用程序。 Java NIO 的主要组成部分包括: 1. Channel:通道是一个在应用程序和文件、网络套接字之间的连接。可以通过通道来进行数据的读取和写入。 2. Buffer:缓冲区是一个容器,用于存储数据。在 NIO 中,所有的数据读取和写入都是通过缓冲区进行的。 3. Selector:选择器用于监听多个 NIO 通道的事件,如读写事件。当某个通道发生事件时,选
52 0
|
6月前
|
Java 测试技术 Apache
Java IO 与 NIO:高效的输入输出操作探究
输入输出(IO)是任何编程语言中的核心概念,而在Java中,IO操作更是应用程序成功运行的基石。随着计算机系统变得越来越复杂,对IO的要求也日益增加。在本文中,我们将探讨Java IO和非阻塞IO(NIO)的重要性以及如何在Java中实现高效的输入输出操作。