java之NIO编程

是什么?

NIO(Non-blocking I/O,在Java领域,也称为New I/O,从 Java 1.4 开始),是一种==同步非阻塞的I/O模型==,也是I/O多路复用的基础,已经被越来越多地应用到大型应用服务器,成为解决高并发与大量连接、I/O处理问题的有效方式。

主要包括三个核心组件:
NIO的工具包提出了基于Selector(选择器)、Buffer(缓冲区)、Channel(通道)的新模式;Selector(选择器)、可选择的Channel(通道)和SelectionKey(选择键)配合起来使用,可以实现并发的非阻塞型I/O能力。

NI/O 是一种同步非阻塞的 I/O 模型。同步是指线程不断轮询 I/O 事件是否就绪,非阻塞是指线程在等待 I/O 的时候,可以同时做其他任务。同步的核心就是 Selector,Selector 代替了线程本身轮询 I/O 事件,避免了阻塞同时减少了不必要的线程消耗;非阻塞的核心就是通道和缓冲区,当 I/O 事件就绪时,可以通过写道缓冲区,保证 I/O 的成功,而无需线程阻塞式地等待。

优缺点?

相较之前的io,效率更高,提升了并发量

I/O相比于BI/O,采用一种基于通道和缓存区的I/O方式 ,它可以使用 Native 函数库直接分配堆外内存,然后通过一个存储在 Java 堆的 DirectByteBuffer 对象作为这块内存的引用进行操作,避免了在 Java 堆和 Native 堆中来回复制数据。

Java NIO 和 IO 的主要区别

下表总结了 Java NIO 和 IO 之间的主要差别,我会更详细地描述表中每部分的差异。

1
2
3
4
IO                NIO
面向流 面向缓冲
阻塞IO 非阻塞IO
无 选择器

面向流I/O的系统,一次处理一个字节的数据。一个输入流会产生一个字节的数据,而一个输出流同样一次消费一个字节的数据。对于流式数据,很容易创建过滤器。可以相对简单地把几个过滤器连接在一起,每个过滤器完成自己的工作,也是按字节进行过滤,精细的处理机制。另一方面,面向流I/O的通信往往比较缓慢。

面向块I/O的系统,以块为单位处理数据。每个操作步骤会生成或消费一个块的数据。以块为单位处理数据,其处理速度远快于以字节流为单位的方式。但是,与面向流I/O的通信相比,面向块I/O的通信缺乏优雅和简洁。

什么时候应该使用java.io?什么时候又该使用java.nio呢?

1、 可扩展性。这可能会促使你选择不同的软件包。Java.net需要每个Socket通信都有一个线程。编码将大为简化。java.nio更富有效率,但相对难以编码。

2、 在处理成千上万的连接时,你可能需要更好的扩展性;但是如果连接数较低时,你可能更注重块I/O的高吞吐率。

3、当使用SSL (Secure Sockets Layer,安全套接字层) 工作时,选择java.nio则实现难度很大。

内部的原理?

假设某银行只有10个职员。该银行的业务流程分为以下4个步骤:

1) 顾客填申请表(5分钟);

2) 职员审核(1分钟);

3) 职员叫保安去金库取钱(3分钟);

4) 职员打印票据,并将钱和票据返回给顾客(1分钟)。

  我们看看银行不同的工作方式对其工作效率到底有何影响。

1 BIO方式
  每来一个顾客,马上由一位职员来接待处理,并且这个职员需要负责以上4个完整流程。当超过10个顾客时,剩余的顾客需要排队等候。

  我们算算这个银行一个小时到底能处理多少顾客?一个职员处理一个顾客需要10分钟(5+1+3+1)时间,一个小时(60分钟)能处理6个顾客,一共10个职员,那就是只能处理60个顾客。

  可以看到银行职员的工作状态并不饱和,比如在第1步,其实是处于等待中。

  这种工作其实就是BIO,每次来一个请求(顾客),就分配到线程池中由一个线程(职员)处理,如果超出了线程池的最大上限(10个),就扔到队列等待 。

2 NIO方式
  如何提高银行的吞吐量呢?

  思路:分而治之,将任务拆分开来,由专门的人负责专门的任务。

  具体来讲,银行专门指派一名职员A,A的工作就是每当有顾客到银行,他就递上表格让顾客填写,每当有顾客填好表后,A就将其随机指派给剩余的9名职员完成后续步骤。

  我们计算下这种工作方式下银行一个小时到底能处理多少顾客?

  假设顾客非常多,职员A的工作处于饱和中,他不断的将填好表的顾客带到柜台处理,柜台一个职员5分钟能处理完一个顾客,一个小时9名职员能处理:9*(60/5)=108。

  可见工作方式的转变能带来效率的极大提升。

这种工作方式其实就NIO的思路。下图是非常经典的NIO说明图,mainReactor线程负责监听server socket,accept新连接,并将建立的socket分派给subReactor;subReactor可以是一个线程,也可以是线程池(一般可以设置为CPU核数),负责多路分离已连接的socket,读写网络数据,这里的读写网络数据可类比顾客填表这一耗时动作,对具体的业务处理功能,其扔给worker线程池完成。

  可以看到典型NIO有三类线程,分别是mainReactor线程、subReactor线程、work线程。不同的线程干专业的事情,最终每个线程都没空着,系统的吞吐量自然就上去了。

具体的用法是什么?

应用场景?

netty

参考资料

赏个包子钱~~