Java I/O操作详解与优化策略
150 浏览量
更新于2024-09-02
收藏 139KB PDF 举报
Java I/O操作及优化是Java编程中至关重要的部分，它涉及到数据的输入（Input）和输出（Output）处理。在Java中，流（Stream）的概念被广泛应用，它们代表一组有序的、有起点和终点的字节集合，用于数据传输，提供了抽象化的接口来进行高效的数据操作。
Java的I/O模型主要有五种：阻塞I/O（Blocking I/O）、非阻塞I/O（Non-blocking I/O）、I/O多路复用（如select/poll在Unix系统中的epoll和Windows的IOCP）、信号驱动I/O（SIGIO）以及异步I/O（POSIX aio_functions）。这些模型的选择取决于所使用的操作系统，Java 1.4引入的NIO（New I/O）版本1.0是为了支持异步I/O，它在不同平台上利用I/O复用技术，如Linux使用epoll，BSD使用kqueue，而Windows则采用重叠I/O。
在传统的同步并阻塞I/O模型中，服务器通常为每个客户端连接创建一个独立的线程进行处理，这种模式在连接较少时表现良好，但随着连接数量增加，线程开销显著，可能导致资源耗尽。为了克服这个问题，可以通过线程池机制来管理和复用线程，但这并未改变I/O操作本身的串行性和阻塞性质，CPU时间和内存资源仍然浪费在等待I/O操作完成上。
相比之下，同步非阻塞I/O（NI）模型试图减少阻塞时间，通过让线程在等待I/O时继续保持活动状态，提高系统的并发性能。然而，实现这种模型需要更复杂的编程技巧，例如使用Future和Callable接口，或者异步回调函数，以确保数据处理的并发执行。
Java NIO（New I/O）进一步优化了I/O操作，它提供了一种基于缓冲区和事件驱动的API，允许程序员更灵活地控制数据传输，减少上下文切换，提升性能。NIO2引入了Selector和Channel API，使得多路复用成为可能，一个Selector可以管理多个Channel的I/O事件，大大提高了对大量并发连接的处理效率。
此外，对于高并发场景，Java还提供了nio通道（NIO Channels）和ByteBuf等高级API，它们支持零拷贝，减少了内存分配和复制操作，从而降低内存消耗。Netty、Akka等框架更是基于NIO实现了高性能的网络通信库，进一步提升了I/O性能和可扩展性。
理解并掌握Java I/O操作及优化策略对于编写高效的网络服务、大数据处理和实时应用至关重要。通过选择合适的I/O模型、合理使用NIO框架和API，可以极大地提高程序的性能，减少资源浪费，适应不断增长的并发需求。
Java I/O 操作及优化详细介绍操作及优化详细介绍
主要介绍了Java I/O 操作及优化详细介绍的相关资料,需要的朋友可以参考下
概要：概要：
流是一组有顺序的，有起点和终点的字节集合，是对数据传输的总称或抽象。即数据在两设备间的传输称为流，流的本质是数据传输，根据数据传输特性将流抽象为各种类，方便更直观的进行数据操
作。
Java I/O
I/O，即 Input/Output(输入/输出) 的简称。就 I/O 而言，概念上有 5 种模型：blocking I/O，nonblocking I/O，I/O multiplexing (select and poll)，signal driven I/O (SIGIO)，asynchronous I/O (the POSIX
aio_functions)。不同的操作系统对上述模型支持不同，UNIX 支持 IO 多路复用。不同系统叫法不同，freebsd 里面叫 kqueue，Linux 叫 epoll。而 Windows2000 的时候就诞生了 IOCP 用以支持
asynchronous I/O。
Java 是一种跨平台语言，为了支持异步 I/O，诞生了 NIO，Java1.4 引入的 NIO1.0 是基于 I/O 复用的，它在各个平台上会选择不同的复用方式。Linux 用的 epoll，BSD 上用 kqueue，Windows 上是重叠
I/O。
Java I/O 的相关方法如下所述：的相关方法如下所述：
同步并阻塞 (I/O 方法)：服务器实现模式为一个连接启动一个线程，每个线程亲自处理 I/O 并且一直等待 I/O 直到完成，即客户端有连接请求时服务器端就需要启动一个线程进行处理。但是如果这个连接
不做任何事情就会造成不必要的线程开销，当然可以通过线程池机制改善这个缺点。I/O 的局限是它是面向流的、阻塞式的、串行的一个过程。对每一个客户端的 Socket 连接 I/O 都需要一个线程来处
理，而且在此期间，这个线程一直被占用，直到 Socket 关闭。在这期间，TCP 的连接、数据的读取、数据的返回都是被阻塞的。也就是说这期间大量浪费了 CPU 的时间片和线程占用的内存资源。此
外，每建立一个 Socket 连接时，同时创建一个新线程对该 Socket 进行单独通信 (采用阻塞的方式通信)。这种方式具有很快的响应速度，并且控制起来也很简单。在连接数较少的时候非常有效，但是如
果对每一个连接都产生一个线程无疑是对系统资源的一种浪费，如果连接数较多将会出现资源不足的情况；
同步非阻塞 (NIO 方法)：服务器实现模式为一个请求启动一个线程，每个线程亲自处理 I/O，但是另外的线程轮询检查是否 I/O 准备完毕，不必等待 I/O 完成，即客户端发送的连接请求都会注册到多路复
用器上，多路复用器轮询到连接有 I/O 请求时才启动一个线程进行处理。NIO 则是面向缓冲区，非阻塞式的，基于选择器的，用一个线程来轮询监控多个数据传输通道，哪个通道准备好了 (即有一组可以
处理的数据) 就处理哪个通道。服务器端保存一个 Socket 连接列表，然后对这个列表进行轮询，如果发现某个 Socket 端口上有数据可读时，则调用该 Socket 连接的相应读操作；如果发现某个 Socket
端口上有数据可写时，则调用该 Socket 连接的相应写操作；如果某个端口的 Socket 连接已经中断，则调用相应的析构方法关闭该端口。这样能充分利用服务器资源，效率得到大幅度提高；
异步非阻塞 (AIO 方法，JDK7 发布)：服务器实现模式为一个有效请求启动一个线程，客户端的 I/O 请求都是由操作系统先完成了再通知服务器应用去启动线程进行处理，每个线程不必亲自处理 I/O，而
是委派操作系统来处理，并且也不需要等待 I/O 完成，如果完成了操作系统会另行通知的。该模式采用了 Linux 的 epoll 模型。
在连接数不多的情况下，传统 I/O 模式编写较为容易，使用上也较为简单。但是随着连接数的不断增多，传统 I/O 处理每个连接都需要消耗一个线程，而程序的效率，当线程数不多时是随着线程数的增
加而增加，但是到一定的数量之后，是随着线程数的增加而减少的。所以传统阻塞式 I/O 的瓶颈在于不能处理过多的连接。非阻塞式 I/O 出现的目的就是为了解决这个瓶颈。非阻塞 IO 处理连接的线程数
和连接数没有联系，例如系统处理 10000 个连接，非阻塞 I/O 不需要启动 10000 个线程，你可以用 1000 个，也可以用 2000 个线程来处理。因为非阻塞 IO 处理连接是异步的，当某个连接发送请求到服
务器，服务器把这个连接请求当作一个请求“事件”，并把这个“事件”分配给相应的函数处理。我们可以把这个处理函数放到线程中去执行，执行完就把线程归还，这样一个线程就可以异步的处理多个事
件。而阻塞式 I/O 的线程的大部分时间都被浪费在等待请求上了。
Java NIO
Java.nio 包是 Java 在 1.4 版本之后新增加的包，专门用来提高 I/O 操作的效率。
表 1 所示是 I/O 与 NIO 之间的对比内容。
表 1. I/O VS NIO
I/O NIO
面向流 面向缓冲
阻塞 IO 非阻塞 IO
无 选择器
NIO 是基于块 (Block) 的，它以块为基本单位处理数据。在 NIO 中，最为重要的两个组件是缓冲 Buffer 和通道 Channel。缓冲是一块连续的内存块，是 NIO 读写数据的中转地。通道标识缓冲数据的源头
或者目的地，它用于向缓冲读取或者写入数据，是访问缓冲的接口。Channel 是一个双向通道，即可读，也可写。Stream 是单向的。应用程序不能直接对 Channel 进行读写操作，而必须通过 Buffer 来
进行，即 Channel 是通过 Buffer 来读写数据的。
使用 Buffer 读写数据一般遵循以下四个步骤：
1. 写入数据到 Buffer；
2. 调用 flip() 方法；
3. 从 Buffer 中读取数据；
4. 调用 clear() 方法或者 compact() 方法。
当向 Buffer 写入数据时，Buffer 会记录下写了多少数据。一旦要读取数据，需要通过 flip() 方法将 Buffer 从写模式切换到读模式。在读模式下，可以读取之前写入到 Buffer 的所有数据。
一旦读完了所有的数据，就需要清空缓冲区，让它可以再次被写入。有两种方式能清空缓冲区：调用 clear() 或 compact() 方法。clear() 方法会清空整个缓冲区。compact() 方法只会清除已经读过的数
据。任何未读的数据都被移到缓冲区的起始处，新写入的数据将放到缓冲区未读数据的后面。
Buffer 有多种类型，不同的 Buffer 提供不同的方式操作 Buffer 中的数据。
图 1 Buffer 接口层次图
Buffer 写数据有两种情况：
1. 从 Channel 写到 Buffer，如例子中 Channel 从文件中读取数据，写到 Channel；
2. 直接调用 put 方法，往里面写数据。
从从 Buffer 中读取数据有两种方式：中读取数据有两种方式：
1. 从 Buffer 读取数据到 Channel；
2. 使用 get() 方法从 Buffer 中读取数据。
Buffer 的 rewin 方法将 position 设回 0，所以你可以重读 Buffer 中的所有数据。limit 保持不变，仍然表示能从 Buffer 中读取多少个元素（byte、char 等）。
clear() 和 compact() 方法
一旦读完 Buffer 中的数据，需要让 Buffer 准备好再次被写入。可以通过 clear() 或 compact() 方法来完成。
如果调用的是 clear() 方法，position 将被设回 0，limit 被设置成 capacity 的值。换句话说，Buffer 被清空了。Buffer 中的数据并未清除，只是这些标记告诉我们可以从哪里开始往 Buffer 里写数据。
如果 Buffer 中有一些未读的数据，调用 clear() 方法，数据将“被遗忘”，意味着不再有任何标记会告诉你哪些数据被读过，哪些还没有。如果 Buffer 中仍有未读的数据，且后续还需要这些数据，但是此时
想要先写些数据，那么使用 compact() 方法。compact() 方法将所有未读的数据拷贝到 Buffer 起始处。然后将 position 设到最后一个未读元素正后面。limit 属性依然像 clear() 方法一样，设置成
capacity。现在 Buffer 准备好写数据了，但是不会覆盖未读的数据。
Buffer 参数参数
Buffer 有 3 个重要的参数：位置 (position)、容量 (capacity) 和上限 (limit)。
capacity 是指 Buffer 的大小，在 Buffer 建立的时候已经确定。
下载后可阅读完整内容，剩余5页未读，立即下载
2020-10-27 上传
2020-12-22 上传
2021-02-16 上传
160 浏览量
2019-03-22 上传
2019-07-31 上传
点击了解资源详情
weixin_38630853
- 粉丝: 4
- 资源: 952
我的内容管理
展开
