信号驱动IO 一文搞懂什么是阻塞IO Reactor模型 零拷贝

基础IO

如何从数据传输方式了解IO流？

从数据传输方式或许说是运输方式角度看，可以将 IO 类分为:

字节是给计算机看的，字符才是给人看的

如何从数据操作上了解IO流？

Java IO设计上经常使用了什么设计形式？

装璜者形式：所谓装璜，就是把这个装璜者套在被装璜者之上，从而灵活裁减被装璜者的配置。

设计不同种类的饮料，饮料可以参与配料，比如可以参与牛奶，并且允许灵活参与新配料。每参与一种配料，该饮料的多少钱就会参与，要求计算一种饮料的多少钱。

下图示意在 DarkRoast 饮料上新增新参与 Mocha 配料，之后又参与了 Whip 配料。DarkRoast 被 Mocha 包裹，Mocha 又被 Whip 包裹。它们都承袭自相反父类，都有 cost() 方法，外层类的 cost() 方法调用了内层类的 cost() 方法。

实例化一个具备缓存配置的字节流对象时，只要要在 FileInputStream 对象上再套一层 BufferedInputStream 对象即可。

FileInputStream fileInputStream  new FileInputStreamfilePathBufferedInputStream bufferedInputStream  new BufferedInputStreamfileInputStream

DataInputStream装璜者提供了对更少数据类型启动输入的操作，比如 int、double 等基本类型。

5种IO模型

什么是阻塞？什么是同步？

这两个概念是程序级别的。关键形容的是程序恳求操作系统IO操作后，假设IO资源没有预备好，那么程序该如何处置的疑问: 前者期待；后者继续口头(并且经常使用线程不时轮询，直到有IO资源预备好了)

这两个概念是操作系统级别的。关键形容的是操作系统在收到程序恳求IO操作后，假设IO资源没有预备好，该如何照应程序的疑问: 前者不照应，直到IO资源预备好；后者前往一个标志(好让程序和自己知道的数据往哪里通知)，当IO资源预备好，再用事情机制前往给程序。

什么是Linux的IO模型？

网络IO的实质是socket的读取，socket在linux系统被形象为流，IO可以了解为对流的操作。刚才说了，关于一次性IO访问（以read举例），数据会先被拷贝到操作系统内核的缓冲区中，而后才会从操作系统内核的缓冲区拷贝到运行程序的地址空间。所以说，当一个read操作出现时，它会教训两个阶段：

关于socket流而言，

网络运行须要处置的无非就是两大类疑问，网络IO，数据计算。相关于后者，网络IO的提前，给运行带来的性能瓶颈大于后者。网络IO的模型大抵有如下几种：

什么是同步阻塞IO？

运后退程被阻塞，直到数据复制到运后退程缓冲区中才前往。

你早下来买有现炸油条，你点单，之后不时等店家做好，时期你啥其它事也做不了。（你就是运行级别，店家就是操作系统级别， 运行被阻塞了不能做其它事）

什么是同步非阻塞IO？

运后退程口头系统调用之后，内核前往一个失误码。运后退程可以继续口头，然而须要不时的口头系统调用来获知 I/O 能否成功，这种方式称为轮询(polling)。

你早下来买现炸油条，你点单，点完后每隔一段时期征询店家有没有做好，时期你可以做点其它事情。（你就是运行级别，店家就是操作系统级别，运行可以做其它事情并经过轮询来看操作系统能否成功）

什么是多路复用IO？

系统调用或许是由多个义务组成的，所以可以拆成多个义务，这就是多路复用。

你早下来买现炸油条，点单收钱和炸油条原来都是由一团体成功的，如今他成了瓶颈，所以专门找了个收银员下单收钱，他则专一在炸油条。（实质上炸油条是耗时的瓶颈，将他职责分别出不是瓶颈的局部，比如下单收银，对应到系统级别也时一样的意思）

经常使用 select 或许 poll 期待数据，并且可以期待多个套接字中的任何一个变为可读，这一环节会被阻塞，当某一个套接字可读时前往。之后再经常使用 recvfrom 把数据从内核复制到进程中。

它可以让单个进程具备处置多个 I/O 事情的才干。又被称为 Event Driven I/O，即事情驱动 I/O。

有哪些多路复用IO？

目前流程的多路复用IO成功关键包括四种:select、poll、epoll、kqueue。下表是他们的一些关键个性的比拟:

多路复用IO技术最实用的是“高并发”场景，所谓高并发是指1毫秒内至少同时有上千个衔接恳求预备好。其余状况下多路复用IO技术施展不进去它的长处。另一方面，经常使用JAVA NIO启动配置成功，相关于传统的Socket套接字成功要复杂一些，所以实践运行中，须要依据自己的业务需求启动技术选用。

什么是信号驱动IO？

运后退程经常使用 sigaction 系统调用，内核立刻前往，运后退程可以继续口头，也就是说期待数据阶段运后退程是非阻塞的。内核在数据抵达时向运后退程发送 SIGIO 信号，运后退程收到之后在信号处置程序中调用 recvfrom 将数据从内核复制到运后退程中。

相比于非阻塞式 I/O 的轮询方式，信号驱动 I/O 的 CPU 应用率更高。

你早下来买现炸油条，门口排队的人多，如今引入了一个叫号系统，点完单后你就可以做自己的事情了，而后等叫号就去拿就可以了。（所以不用再去自己频繁跑去问有没有做好了）

什么是异步IO？

相关于同步IO，异步IO不是顺序口头。用户进程启动aio_read系统调用之后，无论内核数据能否预备好，都会间接前往给用户进程，而后用户态进程可以去做别的事情。等到socket数据预备好了，内核间接复制数据给进程，而后从内核向进程发送通知。IO两个阶段，进程都是非阻塞的。

你早下来买现炸油条， 不用去排队了，关上美团外卖下单，而后做其它事，一会外卖自己送上门。(你就是运行级别，店家就是操作系统级别, 运行无需阻塞，这就是非阻塞；系统还或许在处置中，然而立刻照应了运行，这就是异步)

（Linux提供了AIO库函数成功异步，然而用的很少。目前有很多开源的异步IO库，例如libevent、libev、libuv）

什么是Reactor模型？

大少数网络框架都是基于Reactor模型启动设计和开发，Reactor模型基于事情驱动，特意适宜处置海量的I/O事情。

这种形式是传统设计，每一个恳求来到时，大抵都会依照：恳求读取->恳求解码->服务口头->编码照应->发送回答 这个流程去处置。

主机会调配一个线程去处置，假设恳求暴跌起来，那么象征着须要更多的线程来处置该恳求。若恳求出现暴跌，线程池的上班线程数量满载那么其它恳求就会出现期待或许被放弃。若每个小义务都可以经常使用非阻塞的形式，而后基于异步回调形式。这样就大大提高系统的吞吐量，这便引入了Reactor模型。

Reactor线程担任多路分别套接字，accept新衔接，并分派恳求到handler。Redis经常使用单Reactor单进程的模型。

信息处置流程：

将handler的处置池化。

主从Reactor模型：主Reactor用于照应衔接恳求，从Reactor用于处置IO操作恳求，读写分别了。

什么是Java NIO？

NIO关键有三大外围局部：Channel(通道)，Buffer(缓冲区), Selector。传统IO基于字节流和字符流启动操作，而NIO基于Channel和Buffer(缓冲区)启动操作，数据总是从通道读取到缓冲区中，或许从缓冲区写入到通道中。Selector(选用区)用于监听多个通道的事情（比如：衔接关上，数据抵达）。因此，单个线程可以监听多个数据通道。

NIO和传统IO（一下简称IO）之间第一个最大的区别是，IO是面向流的，NIO是面向缓冲区的。

零拷贝

传统的IO存在什么疑问？为什么引入零拷贝的？

假设服务端要提供文件传输的配置，咱们能想到的最繁难的方式是：将磁盘上的文件读取进去，而后经过网络协定发送给客户端。

传统 I/O 的上班方式是，数据读取和写入是从用户空间到内核空间来回复制，而内核空间的数据是经过操作系统层面的 I/O 接口从磁盘读取或写入。

代码通常如下，普通会须要两个系统调用：

 tmp_buf lensocket tmp_buf len

代码很繁难，只管就两行代码，然而这外面出现了不少的事情。

首先，时期共出现了 4 次用户态与内核态的高低文切换，由于出现了两次系统调用，一次性是 read() ，一次性是 write()，每次系统调用都得先从用户态切换到内核态，等外核成功义务后，再从内核态切换回用户态。

高低文切换到老本并不小，一次性切换须要耗时几十纳秒到几微秒，只管时期看下来很短，然而在高并发的场景下，这类时期容易被累积和加大，从而影响系统的性能。

其次，还出现了4 次数据拷贝，其中两次是 DMA 的拷贝，另外两次则是经过 CPU 拷贝的，上方说一下这个环节：

咱们回过头看这个文件传输的环节，咱们只是搬运一份数据，结果却搬运了 4 次，过多的数据拷贝无疑会消耗 CPU 资源，大大降落了系统性能。

这种繁难又传统的文件传输方式，存在冗余的上文切换和数据拷贝，在高并发系统里是十分蹩脚的，多了很多不用要的开支，会重大影响系统性能。

所以，要想提高文件传输的性能，就须要缩小「用户态与内核态的高低文切换」和「内存拷贝」的次数。

mmap + write怎样成功的零拷贝？

在前面咱们知道，read() 系统调用的环节中会把内核缓冲区的数据拷贝到用户的缓冲区里，于是为了缩小这一步开支，咱们可以用 mmap() 交流 read() 系统调用函数。

buf  mmap lensockfd buf len

mmap() 系统调用函数会间接把内核缓冲区里的数据「映射」到用户空间，这样，操作系统内核与用户空间就不须要再启动任何的数据拷贝操作。

详细环节如下：

咱们可以得悉，经过经常使用 mmap() 来替代 read()， 可以缩小一次性数据拷贝的环节。

但这还不是最现实的零拷贝，由于依然须要经过 CPU 把内核缓冲区的数据拷贝到 socket 缓冲区里，而且依然须要 4 次高低文切换，由于系统调用还是 2 次。

sendfile怎样成功的零拷贝？

在 Linux 内核版本 2.1 中，提供了一个专门发送文件的系统调用函数 sendfile()，函数方式如下：

ssize_t sendfile out_fd  in_fd off_t  size_t count

它的前两个参数区分是目标端和源端的文件形容符，前面两个参数是源端的偏移量和复制数据的长度，前往值是实践复制数据的长度。

首先，它可以替代前面的 read() 和 write() 这两个系统调用，这样就可以缩小一次性系统调用，也就缩小了 2 次高低文切换的开支。

其次，该系统调用，可以间接把内核缓冲区里的数据拷贝到 socket 缓冲区里，不再拷贝到用户态，这样就只要 2 次高低文切换，和 3 次数据拷贝。如下图：

然而这还不是真正的零拷贝技术，假设网卡允许 SG-DMA（The Scatter-Gather Direct Memory Access）技术（和普通的 DMA 有所不同），咱们可以进一步缩小经过 CPU 把内核缓冲区里的数据拷贝到 socket 缓冲区的环节。

你可以在你的 Linux 系统经过上方这个命令，检查网卡能否允许 scatter-gather 个性：

$ ethtool k eth0  grep scattergatherscattergather: 

于是，从 Linux 内核 2.4 版本开局起，关于允许网卡允许 SG-DMA 技术的状况下， sendfile() 系统调用的环节出现了点变动，详细环节如下：

所以，这个环节之中，只启动了 2 次数据拷贝，如下图：

这就是所谓的零拷贝（Zero-copy）技术，由于咱们没有在内存层面去拷贝数据，也就是说全程没有经过 CPU 来搬运数据，一切的数据都是经过 DMA 来启动传输的。

零拷贝技术的文件传输方式相比传统文件传输的方式，缩小了 2 次高低文切换和数据拷贝次数，只要要 2 次高低文切换和数据拷贝次数，就可以成功文件的传输，而且 2 次的数据拷贝环节，都不须要经过 CPU，2 次都是由 DMA 来搬运。