kLoop：直通 Linux 内核的高性能 asyncio

本文适合有一定编程基础的同学阅读，但不要求有任何专业方向的经验。写作目的，一是撺掇各路英豪一起做开源，二是记录一下新项目的选型设计和概念验证过程。全文小一万字（知乎那个字数统计……），阅读时间大概一下午（连同摆弄代码的时间）。

fantix@fantix-jammy:~$ time curl https://gitee.com > /dev/null
  % Total  % Received % Xferd  Average Speed   Time  Time   Time  Current
                 Dload  Upload   Total   Spent  Left  Speed
100 35991  0 35991  0   0  23711    0 --:--:--  0:00:01 --:--:-- 23709
real0m1.527s
user0m0.070s
sys0m0.005s

epoll() 是 Linux 上的高性能事件通知设施，可以同时监视多个文件描述符（比如 socket）的事件状态，如某个 TCP 连接成功了，或者某个 socket 收到消息了等等。

CPython 的全局解释器锁（GIL）是一种用来保证 Python 代码在多线程环境中正确执行的同步机制，任何线程只要运行 Python 代码就得先获取这把锁，除非只有一个线程，或者某些函数的底层实现会主动释放 GIL 一段时间。GIL 带来的副作用就是，多线程的 Python 程序往往很难有效地利用多核 CPU 资源。

TLS 的消息（Record）有多种类型，kTLS 将其分为应用数据消息（application data）和控制消息（control data，包括 TLS 的 alert、handshake 等非 application_data 的 Record）。

BIO 全称为基本输入输出，是 OpenSSL 对各种输入输出流封装出来的一个接口，比如 socket 有 socket BIO，文件有文件 BIO，OpenSSL 也允许我们提供自定义的 BIO 实现。

cdef extern from "openssl/ssl.h" nogil:
  ctypedef struct SSL:
    pass
cdef extern from *:
  """
  typedef struct {
    PyObject_HEAD
    PyObject *Socket; /* weakref to socket on which we're layered */
    SSL *ssl;
  } PySSLSocket;
  """
  ctypedef struct PySSLSocket:
    SSL* ssl

cdef extern from "openssl/bio.h" nogil:
  ctypedef struct Method "BIO_METHOD":
    pass
  ctypedef struct BIO:
    pass
  int get_new_index "BIO_get_new_index" ()
  Method* meth_new "BIO_meth_new" (int type, const char* name)
  int meth_set_write_ex "BIO_meth_set_write_ex" (
    Method* biom,
    int (*bwrite)(BIO*, const char*, size_t, size_t*),
  )
  BIO* new "BIO_new" (const Method* type)
  void set_retry_write "BIO_set_retry_write" (BIO *b)

from openssl cimport bio
cdef bio.Method* KTLS_BIO_METHOD = bio.meth_new(
  bio.get_new_index(), "kTLS BIO"
)

cdef int bio_write_ex(
  bio.BIO* b, const char* data, size_t datal, size_t* written
) nogil:
  with gil:
    print('bio_write', data[:datal], <int>data)
  bio.set_retry_write(b)
  written[0] = 0
  return 1
bio.meth_set_write_ex(KTLS_BIO_METHOD, bio_write_ex)

  

• io_uring_setup：顾名思义，用来设置一个新的 io_uring。 每个应用程序都可以申请（多个）自己的 io_uring 实例，只需给定环形队列长度，setup 就会返回一个文件描述符，用以后续操作这个 io_uring 实例。setup 同时会给出几个指针，用来将环形队列 mmap 到用户空间。  
  
• io_uring_enter：这个系统调用会让 io_uring 实例开始工作，并一直阻塞到指定数量的任务完成后，或累计到指定的时间为止。 io_uring 还有另外一种运行模式叫 SQPOLL，可以在 setup 的时候进行设置；在这种模式下，内核会单开一个线程来主动执行任务，而不需要 enter 来触发；只不过为了节省资源，这个线程会在空闲指定的时间后挂起，需要 enter 才能唤醒。这种模式尽管多开了一个线程，但性能更好，因此 kLoop 会启用 SQPOLL。  
  
• io_uring_register：register 是用来向内核注册常用文件或缓冲区的，据说能够提高效率，但是我目前还没有研究到。
  

  

• 先计算这次循环能等待的最长时间——如果就绪队列里有东西，那么我们就是“一刻也不想多等”；否则的话，就是最多可以等到最近的计时任务必须开始执行时为止；  
  
• 然后进 I/O——调用 io_uring_enter()，一直等到有就绪的任务，或者超时为止。就绪任务进就绪队列；  
  
• 接着检查计时队列——到时的任务就出计时队列，进就绪队列；  
  
• 最后就绪队列全部出列，然后一次性全部执行。
  

cdef class TCPTransport:
  cdef:
    int fd
    object protocol

from .includes.openssl cimport ssl as ssl_h
from .includes.openssl.bio cimport BIO
cdef extern from *:
  """
  typedef struct {
    PyObject_HEAD
    BIO *bio;
    int eof_written;
  } PySSLMemoryBIO;
  """
  ctypedef struct PySSLMemoryBIO:
    BIO* bio
    
cdef object wrap_bio(ssl_context, bio.BIO* b, ...):
  cdef pyssl.PySSLMemoryBIO* c_bio
  py_bio = ssl.MemoryBIO()
  c_bio = <pyssl.PySSLMemoryBIO*>py_bio
  c_bio.bio, b = b, c_bio.bio
  try:
    rv = ssl_context.wrap_bio(py_bio, py_bio, ...)
    ssl_h.set_options(
      (<pyssl.PySSLSocket*>rv._sslobj).ssl, ssl_h.OP_ENABLE_KTLS
    )
    return rv
  finally:
    c_bio.bio, b = b, c_bio.bio

  

• 把 TCP 连接的部分从 transport 里抽离出来，在 nogil 的 Cython 里实现 happy eyeballs 什么的；  
  
• 完成 TCP 的客户端实现；  
  
• 完成 TCP 的服务器实现；  
  
• 完成 TLS 的实现；  
  
• 性能评测！看看到底能快多少；  
  
• DNS 部分还有很多 todo!()，不实现的话会崩溃；  
  
• 加测试，把 uvloop 的测试套件搬过来；
  

  

• TLS sendfile() 王炸！写完了可以去跟 NGINX 比速度；  
  
• UNIX domain socket？  
  
• UDP？  
  
• 支持管道和子进程？  
  
• 系统信号、进程 fork 和多线程什么的；  
  
• 用 Rust 的各种 HTTP/1/2/3 库搞一个高性能 ASGI 服务器？……以及捎带手搞一个 WSGI 服务器？  
  
• 支持 Trio 的运行时？  
  
• 想到再加！