皮皮网

1.【fs】IO调度算法之NOOP
2.网络I/O库总结（libevent,源码libuv,libev,libeio）
3.简析Kafka与ElasticSearch磁盘IO问题
4.I/O源码分析(3)--BufferedOutputStream之秒懂"flush"
5.go源码解析之TCP连接（六）——IO多路复用之事件注册
6.这是一份很全很全的IO基础知识与概念

【fs】IO调度算法之NOOP

       NOOP，全称为No Operation，分析即电梯式调度算法。源码在Linux2.4或更早版本的分析系统中，它是源码唯一的I/O调度算法。NOOP实现了一个简单的分析netmvc框架 源码FIFO队列，其运作原理类似于电梯的源码工作方式，将新来的分析I/O请求合并到最近的请求之后，从而保证了请求在同一介质上的源码连续性。NOOP倾向于优先处理写请求，分析对读请求较为不利。源码在闪存设备、分析RAM和嵌入式系统中，源码NOOP表现最佳。分析

       电梯算法导致读请求“饿死”的源码原因在于，写请求比读请求更容易处理。写请求通过文件系统缓存，无需等待一次写操作完成即可开始下一次写操作。写请求可以通过合并和堆积在I/O队列中。而读请求需要在前面的所有读操作完成后才能进行下一次读操作。在读操作之间存在几毫秒的等待时间，而在此期间，新的写请求到来，导致后续的读请求“饿死”。

       在Linux 3.0版本中，对NOOP调度器进行了优化和改进。

       在I/O调度器NOOP中，请求的处理流程如下：

       1. 向前合并请求：`noop_merged_requests`。

       

参考资料：

       IO调度器NOOP与deadline源码级分析 - hiyachen - ChinaUnix博客

网络I/O库总结（libevent,libuv,libev,libeio）

       Libevent

       Libevent 是一个基于事件驱动模型的非阻塞网络库，用于构建高速、可移植的非阻塞 IO 应用。广泛应用于 memcached、Vomit、Nylon、Netchat 等项目中，作为底层网络库，用于实现 TCP 或 HTTP 服务。Libevent 的 GitHub 源码可访问。

       Libev

       Libev 是idea加载源码由 Marc Lehmann 独立完成的，对不同系统非阻塞模型进行简单封装，解决了不同 API 之间的不兼容问题，保证程序在大多数 *nix 平台上运行。Libev 支持类 UNIX 系统的多种 I/O 多路复用模型，如 select、poll、epoll、kqueue、evports 等，但对于 Windows 的支持仅限于 select 模型，效率较低，性能不如 Libuv 封装的 IOCP。Libev 目标是修复 Libevent 的一些设计问题，如避免使用全局变量，提供更高效的事件类型管理。

       Libuv

       Libuv 是一个跨平台、高性能、事件驱动的异步 IO 库，用 C 语言编写，封装了不同平台底层的高性能 IO 模型，如 epoll、kqueue、IOCP、event ports，具有高度可移植性。Libuv 为 Node.js 设计，但因其高效模型逐渐被其他语言和项目采纳，用于底层库，如 Luvit、Julia、uvloop、pyuv 等。

       Libevent、Libev、Libuv 比较

       根据 GitHub 星标数，Libuv 的影响力最大，其次是 Libevent，Libev 关注较少。海底 公式源码在优先级、事件循环、线程安全等方面，Libuv 更为现代，支持多种平台和 IO 模型，提供了更优的性能和功能。Libevent 和 Libev 分别针对不同平台和需求进行优化，Libev 旨在修复 Libevent 的问题。性能和可移植性方面，Libuv 优于 Libevent 和 Libev。

       异步 IO 实现

       目前 Linux 异步 IO 实现有原生异步 IO 和多线程模拟异步 IO 两种方式。原生异步 IO 支持特定场景，但不充分利用 Page cache；多线程模拟异步 IO 方式如 Glibc AIO、libeio、io_uring 等，提供更广泛的适用场景。

简析Kafka与ElasticSearch磁盘IO问题

       针对Kafka和ElasticSearch磁盘IO问题，我们来深入探讨。首先，一个用户报告了Kafka磁盘IO突然饱和，尽管生产者和消费者的吞吐量稳定。问题可能出在（1）Kafka服务端生产消息的过程，即顺序写入PageCache后异步刷新磁盘；（2）消费者长时间消费旧消息，但这通常不会导致突然的磁盘IO上升；（3）频繁创建或修改Topic时，会创建新日志段；（4）日志满后自动创建新段，rollJitterMs参数可能导致磁盘I/O压力；（5）过期数据的删除。经过源码分析，确认是由于日志段满而触发的创建新段操作。

       对于ElasticSearch，一位群友遇到写入慢、读取磁盘满的问题。讨论中，焦点在于（1）负载均衡，即分片分布不均；（2）分片数量，可能过大导致读取瓶颈。磁盘I/O可能由（1）客户端写入、（2）大量读取、（3）索引操作、茶叶城源码（4）合并策略和（5）数据删除引起。内存与磁盘比例过低可能导致频繁交换，占用磁盘空间。

       HBase的磁盘满问题，与ES类似，涉及写入、读取、Region创建和数据管理。HBase的MemStore和BlockCache缓存策略也可能影响磁盘I/O。总结来说，解决这类问题的关键在于理解系统的运行机制，监控指标，结合源码分析，合理调整配置，如调整分片数量、优化内存使用等。

I/O源码分析(3)--BufferedOutputStream之秒懂"flush"

       本文基于JDK1.8，深入剖析了BufferedOutputStream的源码，帮助理解缓冲输出流的工作机制。

       BufferedOutputStream，作为与缓冲输入流相对应的面向字节的IO类，其主要功能是通过write方法进行字节写出操作，并在调用flush方法时清除缓存区中的剩余字节。

       其继承体系主要包括了基本的输出流类，如OutputStream。

       相较于缓冲输入流，BufferedOutputStream的方法相对较少，但功能同样强大。

       BufferedOutputStream内部包含两个核心成员变量：buf代表缓冲区，count记录缓冲区中可写出的字节数。

       构造函数默认初始化缓冲区大小为8M，若指定大小则按指定大小初始化。

       BufferedOutputStream提供了两种主要的写方法：write(int b)用于写出单个字节，以及write(byte[] b, int off, int len)用于从数组中写出指定长度的字节。在内部实现中，使用System.arraycopy函数加速字节的复制过程。

       对于上述方法在调用之后，均会进行缓冲区的分页插件源码清空操作，即调用内部的flushBuffer()方法。然而，用户直接调用的公有flush()方法有何意义呢？

       在实际应用中，当使用BufferedOutputStream进行高效输出时，用户可能需要在程序结束前调用flush()方法，以确保所有未输出的字节都能被正确处理。避免了在程序未结束时输出流的缓存区中出现未输出的字节。

       flush()方法内部逻辑简单，主要通过调用继承自FilterOutputStream的out变量的flush()方法实现缓存区的清空，并将缓冲区的字节全部输出。同时，由于Java的IO流采用装饰器模式，该过程也包括了调用其他实现缓冲功能类的flush方法。

       为验证flush()方法的功能，本文进行了简单的测试，通过初始化缓冲区大小为5个字节，分别测试了不调用flush()、调用close()与不调用flush()、不调用close()的情况。

       测试结果显示，不调用flush()而调用close()时，输出为一个特殊符号，表明字节被正确输出。而在不调用flush()且不调用close()的情况下，输出为空，说明有字节丢失。

       值得注意的是，如果在测试时定义的字节数组长度超过缓冲区大小，BufferedOutputStream可能直接使用加速机制全部写出，无需调用flush()。

       综上所述，使用BufferedOutputStream时，养成在程序结束前调用flush()的习惯，能有效避免因缓存区未清空导致的数据丢失问题，确保程序的稳定性和可靠性。

go源码解析之TCP连接（六）——IO多路复用之事件注册

       在探讨go源码解析之TCP连接（六）——IO多路复用之事件注册这一主题时，我们首先需要理解IO多路复用的基本概念及其在go语言中的实现方式。通常，我们通过系统函数如select、poll、epoll等来实现多路复用，尤其是在Linux操作系统下运行的网络应用程序中。对于直接使用C或C++进行网络程序编写的场景，这种方法较为常见。在这些场景下，应用程序可能在循环中执行epoll wait以等待可读事件，之后将读取网络数据的任务分配给一组线程完成。

       然而，在go语言中，情况有所不同。go语言有自己的运行时环境，使用的是轻量级的协程而非传统的线程。这意味着在实现TCP服务器时，go语言能够通过将协程与epoll结合起来，有效地实现IO多路复用。这种结合使得go应用程序在处理网络连接时，能够以更高效的方式响应事件，避免阻塞单个协程。

       在实现一个TCP server时，我们通常会为每个连接启动一个协程，这些协程负责循环读取连接中的数据并执行业务逻辑。在go语言中，当使用epoll实现IO多路复用时，其流程包括以下几个关键步骤：

       1. **初始化epoll**：在go应用程序中，首先需要初始化epoll实例，以便于监控和响应各种事件。

       2. **事件注册**：将新连接的socket加入epoll中，这一步骤类似于将文件描述符与epoll实例关联起来，以便在特定事件发生时接收通知。

       3. **事件检测与处理**：在应用程序的主循环中，利用epoll wait检测到可读或可写事件后，根据事件类型执行相应的处理逻辑，如读取数据或写入数据，以及后续的业务逻辑处理。

       4. **协程调度与唤醒**：当网络数据可读时，epoll会将事件通知到相应的协程。在go中，协程通过被挂起等待网络数据的到来，当数据可读时，epoll通过调用协程的等待函数（如fd.pd.waitRead），将协程从挂起状态唤醒，从而继续执行读取操作或其他业务逻辑。

       通过这一系列过程，go语言成功地将协程与epoll结合，实现了高效的IO多路复用。这种方法不仅提高了并发性能，还简化了网络应用程序的实现，使得go语言在构建高性能、高并发的网络服务时具有显著优势。

       总结而言，go语言通过巧妙地将协程与内核级别的IO多路复用技术（如epoll）整合在一起，实现了高效、灵活的网络编程模型。这一设计使得go语言在处理并发网络请求时，能够保持高性能和高响应性，是其在现代网络服务开发中脱颖而出的重要原因之一。

这是一份很全很全的IO基础知识与概念

       在操作系统的核心领域，输入/输出（IO）扮演着至关重要的角色，它主要分为磁盘IO和网络IO两个模块，两者在用户空间和内核空间之间穿梭，确保数据传输的高效与稳定。让我们深入探讨一下这两个关键概念。

       首先，IO操作涉及数据在用户空间和内核空间之间的传输，这种切换往往伴随着数据拷贝。读取操作中，内核会检查缓冲区，可能直接读取数据，或者在数据未就绪时等待。相比之下，写入操作则从用户空间拷贝数据到内核空间，由操作系统决定何时执行磁盘或网络写入。这种内核与用户空间的隔离，是系统稳定性的基石。

       代码示例生动地展示了这种切换：在用户空间执行的赋值操作，一旦涉及到文件写入，就会切换到内核空间。系统调用（如写文件）、异常处理（如缺页）和设备中断是用户态转内核态的常见途径。通过命令行工具top，我们可以实时监控CPU的使用情况，理解任务的运行状态。

       CPU时间分配方面，理想状态是大部分时间处于空闲（idle），而用户空间和内核空间的运行时间则相对较少。例如，7.%的CPU用于用户空间处理，7.0%用于内核空间，其余大部分时间则在等待任务。

       在数据传输方式上，PIO和DMA各有利弊。PIO需要CPU频繁介入，效率相对较低，而DMA则允许CPU在数据传输时处理其他任务，降低了CPU的负担。DMA的工作流程包括用户进程请求、操作系统调度、DMA读取数据至内核缓冲区，最后由CPU将数据复制到用户空间。

       在数据复制的过程中，DMA负责内核缓冲区到磁盘或网络设备的传输，而用户空间与内核空间之间的操作则主要由CPU处理。尽管PIO模式在现代系统中已不太常见，理解这些细节对于优化IO性能至关重要。

       缓冲IO和直接IO是两种常见的数据传输策略。缓冲IO通过在内核和用户空间之间设置缓冲区，提升性能，但会增加CPU和内存消耗。而直接IO则跳过内核缓冲，减少数据拷贝，但可能影响性能，尤其在数据不在缓存时。零拷贝IO技术则试图在两者之间找到平衡，减少不必要的拷贝和进程切换，显著提高效率。

       在实际应用中，Apache和Kafka等工具采用零拷贝技术，如sendfile()接口，通过文件描述符和socket操作，实现高效的数据传输。同时，理解同步/异步和阻塞/非阻塞的概念也对网络编程至关重要。同步操作会阻塞等待结果，而非阻塞则会立即返回，如看病和看手机的场景。异步操作允许任务并行进行，提升系统响应速度。

       总的来说，掌握IO操作、其背后的原理以及同步/异步、阻塞/非阻塞的概念，是构建高效网络服务的基础。深入研究操作系统对IO的优化策略，将有助于我们理解高性能服务器的运作机制。如果你对此领域感兴趣，可以参考以下文章来进一步深化理解：

       

嵌入式开发进阶：腾讯首发Linux内核源码

       

嵌入式转内核开发经验分享

       通过这些资源，你将能够更好地把握IO操作的精髓，为你的编程实践增添更强的实战能力。

I/O 简要分析

       本文将从文件IO、网络IO和Java IO接口三个方面来分析IO操作。

       一、文件IO

       一般情况下，我们通过调用read/write接口来进行IO操作，这种操作被称为标准IO，其会先经过页面缓存提高性能。直接IO则会直接作用到磁盘，优点是减少数据拷贝和系统调用消耗，降低CPU使用率和内存占用。还有一种mmap方法，即将文件或对象映射到进程地址空间，减少一次数据拷贝和系统调用。

       二、网络IO

       网络IO由Linux内核统一处理，包括socket读写、数据准备和数据复制两个阶段。网络IO模型包括同步阻塞、同步非阻塞、多路复用、信号驱动和异步IO。同步阻塞IO导致进程阻塞直到数据准备好。同步非阻塞IO则允许进程在等待数据时执行其他操作。多路复用IO则允许同时监听多个连接。信号驱动IO允许在数据准备时发送信号，而异步IO允许在调用后直接获得结果。

       三、Java IO接口

       Java IO接口包括BIO（同步阻塞IO）、NIO（同步非阻塞IO）、AIO（异步非阻塞IO）和Okio。BIO使用InputStream/OutputStream进行IO操作，NIO基于多路复用原理，使用channel、selector和Buffer处理多个连接。AIO在NIO基础上实现数据准备和拷贝的异步操作。Okio是Java IO的封装和优化，提供Sink、Source、TimeOut和Segment等核心类简化IO操作。

       总的来说，通过文件IO、网络IO和Java IO接口的不同模型，我们可以实现高效且灵活的IO操作。不同场景下选择合适的IO模型能够显著提高程序性能和效率。对于Okio的具体使用和详细架构，读者可以进一步探索其源码以深入了解。