05-Java NIO 编程 零拷贝 与 AIO

2022-02-18 13:50:00 浏览数 (1)

NIO 与 零拷贝

零拷贝基本介绍

  1. 零拷贝是网络编程的关键, 很多性能优化都离不开
  2. 在Java程序中, 常用的零拷贝有mmap(内存映射) 和 sendFile. 那么, 他们在OS里, 到底是咋么样的一个设计? 我们分析mmap和sendFile这两个零拷贝
  3. 另外我们看一下NIO中如何使用零拷贝

传统IO数据读写

Java传统IO和网络编程的一段代码

传统IO模型

DMA : direct memory access 直接内存拷贝( 不使用CPU )

mmap 优化

  1. mmap 通过内存映射, 将文件映射到内核缓冲区,同时 用户空间可以共享内核空间的数据, 这样,在进行网络传输时, 就可以减少内核空间到用户空间的拷贝次数,如下图
  2. mmap示意图

sendFile 优化

  1. Linux 2.1 版本 提供了 sendFIle 函数, 其基本原理如下: 数据根本不经过用户态,直接从内核缓冲区进入到Socket Buffer ,同时, 由于和用户态完全无关, 就减少了一次上下文切换
  2. 示意图和小结
  1. 提示: 零拷贝从操作系统角度, 是没有CPU拷贝的
  2. Linux 在2.4 版本中, 做了一些修改, 避免了从内核缓冲区拷贝到SocketBuffer, 的操作,直接拷贝到协议栈,从而再一次减少了数据拷贝,具体如下图和小结
  1. 这里其实有一次CPU拷贝
    1. Kernel buffer -> socket buffer
    2. 但是,拷贝的信息很少, 比如 length, offset
    3. 信息很少,可以忽略

零拷贝的再次理解

  1. 我们说零拷贝, 是从操作系统的角度来说的,因为内核缓冲区之间, 没有数据是重复的(只有 kernel buffer 有一份数据)
  2. 零拷贝不仅仅带了更少的数据复制, 还能带来其他的性能优势, 例如更少的上下文切换, 更少的CPU缓存伪共享以及无CPU校验和计算

mmap 和 sendFile的区别

  1. mmap适合小数据量读写, sendFile 适合大文件传输
  2. mmap需要4次上下文切换, 3次数据拷贝; sendFile 需要3次上下文切换, 最少2次数据拷贝
  3. sendFile可以利用DMA方式, 减少CPU拷贝, mmap则不能(必须从内核拷贝到Socket缓冲区)

零拷贝案例

需求

  1. 使用传统IO方法传递一个大文件
  2. 使用NIO零拷贝方式传递(transferTo)一个大文件
  3. 看看两种传递方式消耗时间分别是多少

编码

server

代码语言：javascript复制
package com.dance.netty.nio.demo.zerocopy;

import java.net.InetSocketAddress;
import java.nio.ByteBuffer;
import java.nio.channels.ServerSocketChannel;
import java.nio.channels.SocketChannel;

public class ZeroCopyServer {

    public static void main(String[] args) throws Exception {

        InetSocketAddress inetSocketAddress = new InetSocketAddress(7001);

        ServerSocketChannel open = ServerSocketChannel.open();

        open.socket().bind(inetSocketAddress);

        for (;;){
            SocketChannel accept = open.accept();
            int countSize = 0;
            ByteBuffer allocate = ByteBuffer.allocate(4096);
            while (-1 != countSize){
                countSize  = accept.read(allocate);
                allocate.rewind(); // 倒置 position=0 Mark 作废
            }
        }

    }

}

client

代码语言：javascript复制
package com.dance.netty.nio.demo.zerocopy;

import java.io.File;
import java.io.FileInputStream;
import java.net.InetSocketAddress;
import java.nio.channels.FileChannel;
import java.nio.channels.SocketChannel;
import java.time.Duration;
import java.time.Instant;

public class ZeroCopyClient {

    public static void main(String[] args) throws Exception {

        SocketChannel open = SocketChannel.open();
        boolean connect = open.connect(new InetSocketAddress(7001));

        // 获取文件Channel
        File file = new File("src/main/resources/01.jpeg");
        FileChannel channel = new FileInputStream(file).getChannel();

        Instant startTime = Instant.now();

        /*
         * 在Linux下,一个transferTo方法就可以传输完成
         * 在Windows下,调用一次transferTo 只能传输8M,就需要分段传输文件,而且要记录传输时的位置
         * transferTo 底层使用零拷贝
         */
        long l = channel.transferTo(0, channel.size(), open);
        System.out.println(l);

        Instant endTime = Instant.now();
        System.out.println("用时:"   Duration.between(startTime,endTime).toMillis()   "ms");
        channel.close();
    }

}

执行结果

代码语言：javascript复制
6806
用时:3ms

零拷贝博客

https://blog.csdn.net/weixin_42096901/article/details/103017044

我感觉写的很不错

AIO 基本介绍

  1. JDK7 引入了,Asynchronous I/O,即AIO ,在进行IO编程中,常用到两种模式:Reactor 和 Proactor, Java 的NIO就是Reactor,,当有事件触发时,服务器端得到通知进行相应的处理
  2. AIO 即NIO2.0, 叫异步非阻塞IO, AIO引入异步通道的概念,采用了Proactor模式,简化了程序编写,有效的请求才启动线程,他的特点是,先由操作系统完成后才通知服务端程序启动线程去处理,一般适用于连接数较多,且连接时间较长的应用
  3. 目前AIO还没有广泛应用,Netty也是基于NIO,而不是AIO,因此就不在这里讲AIO了,有兴趣的可以链接一下
  4. <<Java 新一代网络编程模型AIO原理及Linux系统AIO介绍>>

BIO NIO 和 AIO对比

举例说明

  1. 同步阻塞: 到理发店理发,就一直等着,直到轮到自己理发
  2. 同步非阻塞: 到理发店理发,发现前面有其他人,给理发师说一下先干其他事情,一会过来看是否轮到自己
  3. 异步非阻塞: 给理发师打电话,让理发师上门服务,自己干其他事情,理发师上门通知,来你家给你理发

NIO完结撒花花

自动驾驶 java linux socket编程 编程算法

0 人点赞