关于VFIO的详细研究解析

主要研究VFIO在虚拟化中的应用，但VFIO的应用不止于虚拟化。

VFIO的全称是Virtual Function IO，但这个名字并不能反应它的特点，以下两个假名字更能反应VFIO的特点：

Very Fast IO

由于VFIO是将设备直接透传给虚拟机，所以Guest中与该设备相关的IO性能会大幅提高，接近native性能。

Versatile Framework for userspace IO

这个名字反映了VFIO的功能，即能够将device安全地映射到用户空间，使用户能够对device进行操作。

研究目的

研究利用-device vfio-pci的方式将PCI透传到虚拟机中后，在虚拟机中访问PCI设备的配置空间，MMIO寄存器，IO Port的流程是怎样的。

VFIO原理

VFIO把设备通过IOMMU映射的DMA物理内存地址映射到用户态中，让用户态程序可以自行操纵数据的传输，还可以自行注册中断处理函数，从而在用户态下实现设备的驱动程序。

因此VFIO的基础是IOMMU.

IOMMU

基础功能

地址翻译

IOMMU可以将能直接访问memory的IO总线（DMA–capable）连接到RAM中。

与传统的MMU功能类似，MMU能将CPU使用的虚拟地址转化为物理地址，而IOMMU能将device使用的虚拟地址（也称为设备地址或者IO地址）转化为物理地址。

如果没有IOMMU，DMA也能直接访问RAM中的内容，但是让DMA没有限制地访问RAM是一件很危险的事情，而IOMMU能够对这个过程加以限制，当DMA访问的地址合法时，IOMMU才返回正确的数据。

硬件中断重映射

除了翻译地址的功能，IOMMU还能对硬件中断进行重映射，达到屏蔽部分中断，或自定义中断处理函数的目的。

设备隔离

基于地址翻译和硬件中断重映射两大功能，IOMMU就具有了隔离设备的能力，这提高了设备访问RAM时和设备发出中断时的安全性。

除了将单个设备隔离的功能外，IOMMU还能隔离一组设备，如隔离PCI桥上的几个设备，所以IOMMU还有一个概念，叫做IOMMU_GROUP， 代表一组被隔离的设备的集合。

通过把host的device和对应driver解绑，然后绑定在VFIO的driver上，就会在/dev/vfio/目录下出现一个group，这个group就是IOMMU_GROUP号，如果需要在该group上使用VFIO，需要将该group下的所有device与其对应的驱动解绑。

VFIO Container

在IOMMU_GROUP的基础上，VFIO封装了一层Container Class，Container的作用是，当我们想在不同的IOMMU_GROUP之间共享TLB和page tables（用于地址翻译的页表）时，就将这些group放到同一个container中，因此Container可以看做是IOMMU_GROUP的集合。

虚拟化中VFIO的应用

这里演示一个将网卡设备利用VFIO透传到虚拟机中的例子。需要注意的是，利用VFIO将PCI设备透传到虚拟机之后，Host将无法使用该设备。

虚拟机默认网卡

首先利用默认qemu选项启动虚拟机后，查看lspci的输出，看看虚拟机默认使用的网卡是什么？

可以看到虚拟机默认的网卡是Intel的82540EM，是由Qemu-kvm软件模拟出来的一款网卡。

将Host的PCI网卡透传到虚拟机

首先在Host上使用lspci查看拥有的PCI网卡型号，可以看到Realtek的一款网卡，该网卡的PCI标记为06:00.0.

要使用VFIO，必须在Linux启动时添加启动项intel_iommu=on，因为VFIO的底层依赖IOMMU.

加载VFIO-PCI module

sudo modprobe vfio-pci

如果加载成功，可以在dmesg中看到相关log.

查看网卡所在的IOMMU Group

$ readlink /sys/bus/pci/devices/000000.0/iommu_group.。/.。/.。/.。/kernel/iommu_groups/3

可以看到该Realtek网卡位于iommu_group的group3.

查看设备所在iommu_group的所有设备

$ ls /sys/bus/pci/devices/000000.0/iommu_group/devices/000005.0 000005.1 000000.0

可以看到在iommu_group3中，除了该Realtek网卡，还有2个设备。

将设备与对应的驱动解绑

为了将设备透传到虚拟机中，需要将设备与其对应的驱动解绑，这样该设备就可以使用VFIO的驱动了。注意，不仅要将要透传的设备解绑，还要将与设备同iommu_group的设备都解绑，才能透传成功。

$ echo 000000.0 | sudo tee /sys/bus/pci/devices/000000.0/driver/unbind000000.0$ echo 000005.0 | sudo tee /sys/bus/pci/devices/000005.0/driver/unbind000005.0 $ echo 000005.1 sudo tee /sys/bus/pci/devices/000005.1/driver/unbind000005.1

查看设备的Vendor和DeviceID

$ lspci -n -s 06:00.0 06:00.0 0200： 10ec:8168 （rev 15）

可以看到该Realtek网卡的Vendor为10ec，DeviceID为8168.

将设备绑定到vfio-pci module

$ echo 10ec 8168 | sudo tee /sys/bus/pci/drivers/vfio-pci/new_id10ec 8168

可以通过ls /dev/vfio查看是否绑定成功，如果绑定成功，/dev/vfio目录下会出现该device所属的iommu_group号。

这里的3就是我们要透传的Realtek网卡所在的iommu_group号。

启动虚拟机

$ sudo x86_64-softmmu/qemu-system-x86_64 -m 4096 -smp 4 -hda ~/ewan/Workspace/img/Ubuntu18.04_loop.img-enable-kvm -cpu host -device vfio-pci，host=06:00.0

这里我使用的是从源码编译的qemu，但是从apt-get安装的的qemu也是可以的。

进入guest之后运行lspci，可以看到相比之前的PCI设备，多了一个Realtek网卡，这个网卡和host上的信息一模一样，证明将网卡透传到Guest成功！。

编辑：lyn