[Java] Java文件IO操作教程之DirectIO的意义

• pagecache 属于操作系统层面的概念，用户层面很难干预，user buffercache 显然比 kernel pagecache 要可控
  
• 现代操作系统会使用尽可能多的空闲内存来充当 pagecache，当操作系统回收 pagecache 内存的速度低于应用写缓存的速度时，会影响磁盘写入的速率，直接表现为写入 rt 增大，这被称之为“毛刺现象”
  

• 操作系统限制：linux 操作系统在 2.4.10 及以后的版本中支持 o_direct flag，老版本会忽略该 flag；mac os 也有类似于 o_direct 的机制
  
• 用于传递数据的缓冲区，其内存边界必须对齐为 blocksize 的整数倍
  
• 用于传递数据的缓冲区，其传递数据的大小必须是 blocksize 的整数倍。
  
• 数据传输的开始点，即文件和设备的偏移量，必须是 blocksize 的整数倍
  

查看系统 blocksize 大小的方式：stat /boot/|grep “io block”
ubuntu@vm-30-130-ubuntu:~$ stat /boot/|grep “io block”
size: 4096 blocks: 8 io block: 4096 directory
通常为 4kb

<dependency>
 <groupid>moe.cnkirito.kdio</groupid>
 <artifactid>kdio-core</artifactid>
 <version>1.0.0</version>
</dependency>

// file path should be specific since the different file path determine whether your system support direct io
public static directiolib directiolib = directiolib.getlibforpath("/");
// you should always write into your disk the integer-multiple of block size through direct io.
// in most system, the block size is 4kb
private static final int block_size = 4 * 1024;

private static void write() throws ioexception {
 if (directiolib.binit) {
  bytebuffer bytebuffer = directioutils.allocatefordirectio(directiolib, 4 * block_size);
  for (int i = 0; i < block_size; i++) {
   bytebuffer.putint(i);
  }
  bytebuffer.flip();
  directrandomaccessfile directrandomaccessfile = new directrandomaccessfile(new file("./database.data"), "rw");
  directrandomaccessfile.write(bytebuffer, 0);
 } else {
  throw new runtimeexception("your system do not support direct io");
 }
}

public static void read() throws ioexception {
 if (directiolib.binit) {
  bytebuffer bytebuffer = directioutils.allocatefordirectio(directiolib, 4 * block_size);
  directrandomaccessfile directrandomaccessfile = new directrandomaccessfile(new file("./database.data"), "rw");
  directrandomaccessfile.read(bytebuffer, 0);
  bytebuffer.flip();
  for (int i = 0; i < block_size; i++) {
   system.out.print(bytebuffer.getint() + " ");
  }
 } else {
  throw new runtimeexception("your system do not support direct io");
 }
}

• directiolib.java 提供 native 的 pwrite 和 pread
  
• directioutils.java 提供工具类方法，比如分配 block 对齐的 bytebuffer
  
• directchannel/directchannelimpl.java 提供对 fd 的 direct 包装，提供类似 filechannel 的读写 api。
  
• directrandomaccessfile.java 通过 dio 的方式打开文件，并暴露 io 接口。