Libvirt Live Migration 与 Pre-Copy 实现原理

江南才子

网络数据传输层

• 基于 Hypervisor 的传输，两个 Hypervisor 之间直接建立数据传输连接。优点：数据传输量少。缺点：需要额外配置 Hypervisor Network。需要在防火墙上面打开更多的端口来支持并发迁移，数据不一定支持加密（取决于 Hypervisor 实现）。
  
• 基于 libvirtd Tunnel 的传输，源主机和目标主机上运行的 libvirtd 之间建立 RPC 隧道来传输数据。数据要先拷贝到 libvirtd，再由 libvirtd 中继到目标主机的 libvirtd。优点：不需要重新配置网络，防火墙上面只需要一个端口就可以支持并发迁移，数据强加密。缺点：相关的数据拷贝多，所有流量都通过一个端口，容易造成网络拥堵。
  
  在 Tunnel 传输模式下，同一份数据需要被拷贝多次，并且所有的流量都通过一个端口，在大内存、高业务（快速增加 RAM 脏数据）的场景下，同样的网络带宽，Tunnel 传输模式迁移速率较慢。因此，对于大内存、业务繁忙的场景下，首选基于 Hypervisor 的传输。
  

控制层

• Client 控制：由 Libvirt Client 直接控制迁移。Client 跟源主机 libvirtd 连接，也跟目的主机 libvirtd 连接，当目的主机迁移过程出现异常会反馈给 Client，再由 Client 通知源 libvirtd。整个过程，由 Client 主导控制。
  
• 源主机 libvirtd 控制：由源主机 libvirtd 主导整个迁移过程。Client 仅作为迁移指令的发起者，将迁移指令异步发送给源主机 libvirtd。如果目的主机迁移过程出现异常会反馈给源主机 libvirtd。这种方式的好处是，Client 故障也不会影响到整个迁移过程。
  
• Hypervisor 控制：有源主机 Hypervisor 控制整个迁移过程，Client 向源主机 Hypervisor 发送迁移指令，源主机和目的主机的 libvirtd 不参与控制。这种方式的前提是 Hypervisor 自身支持热迁移，好处在于 Client 和 libvirtd 的故障不会影响到整个迁移过程。
  
  

通过 libvirt 库实现虚拟机迁移的示例

import libvirt 
import pprint

conn_src = libvirt.open('qemu+tcp://username@src_server/system') 
conn_dest = libvirt.open('qemu+tcp://username@dest_server/system') 

vm_domain = conn_src.lookupByName('instance_name') 
vm_domain.migrate(conn_dest, True, 'instance_name', None, 0)

pprint.pprint(help(vm_domain.migrate))

KVM 的预拷贝（Pre-Copy）Live Migration 过程Step 1. 系统验证目标服务器的存储器和网络设置是否正确，并预保留目标服务器虚拟机的资源。

Step 2. 当虚拟机还在源服务器上运转时，第一个循环内将全部内存镜像复制到目标服务器上。在这个过程中，KVM 依然会监视内存的任何变化。

Step 3. 以后的循环中，检查上一个循环中内存是否发生了变化。 假如发生了变化，那么 VMM 会将发生变化的内存页即 dirty pages 重新复制到目标服务器中，并覆盖掉先前的内存页。在这个阶段，VMM 依然会继续监视内存的变化情况。

Step 4. VMM 会持续这样的内存复制循环。随着循环次数的增加，所需要复制的 dirty pages 就会明显减少，而复制所耗费的时间就会逐渐变短，那么内存就有可能没有足够的时间发生变化。最后，当源服务器与目标服务器之间的差异达到一定标准时，内存复制操作才会结束，同时暂停源系统。

Step 5. 在源系统和目标系统都停机的情况下，将最后一个循环的 dirty-pages 和源系统设备的工作状态复制到目标服务器。

Step 6. 然后，将存储从源系统上解锁，并锁定在目标系统上。启动目标服务器，并与存储资源和网络资源相连接。

参考资料https://www.ibm.com/developerworks/cn/linux/l-cn-mgrtvm1/index.html