ARM对虚拟化下设备直通的支持

随着云计算领域里，ARM架构处理器的广泛使用，应用开发人员熟悉ARM架构相关技术的需求越来越迫切。众所周知，提供虚拟机服务是云计算的典型应用场景，而虚拟机里设备性能的优劣对服务质量至关重要。

提到虚拟机里的设备，就不得不提及设备的虚拟化，最初虚拟机里的设备完全是依靠软件模拟来实现，也叫全虚拟化设备，这样的好处是运行在物理机里的OS可以完全不需要修改就能在虚拟机里运行，但设备性能很差，满足不了人们的需求。

后来，有人提出了半虚拟化的思想，寄希望于软件的优化，比如修改设备模型，减少不必要的内存拷贝，来满足大家对设备的性能需求。典型代表virtio设备。此法使性能虽有较大提升，但与真实的设备仍有较大差距。为了获取等同于真实设备的性能，设备直通的方式被提了出来，也渐渐成为主流方式。

虚拟机里使用直通的设备，的确可以带来最大的性能提升。但是却暴漏出一系列的系统安全问题。比如提供DMA的设备通常可以写内存的任意页，因此虚拟机里的Guest OS拥有创建DMA的能力就等同于用户空间拥有了root权限，恶意的设备可能利用此发动DMA攻击，给其他虚拟机乃至整个物理机带来安全问题。

因此，需要提供DMA重映射功能，通过页表方式将直通设备对内存的访问限制到特定的域中，在提高IO性能的同时完成了直通设备的隔离，保证了直通设备DMA的安全性。此外，直通设备的中断默认是发给物理CPU的，要想通知到虚拟机里的vCPU，就需要中断的重定向。

DMA重映射跟中断重定向的实现，最初是完全交由虚拟机监控器（Hypervisor）或模拟器（比如qemu）来负责。这是一种纯软件的思路，必然大大降低设备的性能，因此急需硬件的参与配合。

为此，ARM的SMMU和GIC规范顺势添加了对DMA重映射跟中断重定向的支持。本文的重点便是围绕这两大特性介绍如何支持虚拟化环境下的设备直通。

DMA重映射

SMMU是System MMU的缩写，是ARM架构下一种对非CPU设备提供地址翻译服务的组件，功能类似于CPU的MMU组件。这里非CPU设备主要指发起DMA操作的外围子系统。如下图所示：

注：PE为Processing Element 的缩写，可理解为CPU。

在虚拟化应用场景下，地址翻译往往分为两个阶段。阶段一是虚拟地址（VA）到GuestOS认为的物理地址（IPA）间的转换；阶段二为IPA到真实物理地址（PA）间的转换。而SMMU既可以同时支持两个阶段的转换，也可以单独支持每个阶段的转换。

这为直通设备DMA重映射提供了可能。直通设备的DMA只需要获取IPA，之后的工作便交由SMMU来做阶段二的处理，以达到安全高效的访问PA的目的。如下图所示：

针对以上应用场景，我们介绍SMMU的内部结构来阐述具体实现原理。SMMU含有两个核心单元，分别为翻译控制单元TCU和翻译缓冲单元TBU。其中TCU主要含有Stream Mapping Table（SMT）和Context Bank Table（CBT）。

SMT通过StreamID来索引内部的Entry，StreamID跟具体直通设备一一对应， 从而获取到指向CBT具体Entry的指针。CBT的Entry内容则含有阶段二翻译表的指针，当获取到此指针后，翻译过程即可像普通MMU一样按部就班的进行下去。而TBU的作用等同于TLB，借助Cache原理，加快SMMU工作效率，不再赘述。以上描述过程总结为如下框图所示：

中断重定向

GIC是Generic Interrupt Controller的缩写。GIC的主要作用是路由各种不同的中断信息给CPU。虚拟化环境下的中断处理情形要复杂的多，有些因指令trap产生的中断需要Hypervisor本身来处理；

有些是分配给某个虚拟机的直通设备产生的中断则需要虚拟机内的软件来处理；也有中断被接收时，对标的虚拟机没有处于运行状态的情况。这需要GIC提供机制，重定向中断以满足上述复杂的需求。

由于本文的重点是对直通设备虚拟化支持的讲解，因此此部分将介绍GIC是如何支持直通设备中断重映射的，并不会剖析GIC内部组成及实现原理。我们以GICv3为例，图示如下：

配以如下步骤说明：

1 直通设备发起的中断IRQ到达GIC；

2 GIC发物理的IRQ到CPU；

3 Hypervisor会从Physical CPU Interface读取中断信息；

4 Hypervisor发现此中断是某虚拟机内的直通设备触发，于是通过写GIC List Register重新注入一个虚拟IRQ到GIC中；

5 GIC产生vIRQ中断并发给vCPU；

6 最终vCPU接收vIRQ中断并由运行其上的GuestOS接管并通过跟Virtual CPU interface交互处理后续中断任务。

至此，一个完整的中断重映射过程结束。

在GIC参与直通设备的中断重映射后，虚拟机在处理中断效率上有了明显提升，但是跟Host主机上普通物理中断相比，总是多了一步由软件Hypervisor参与的动作。因此，我们称以上方式为间接注入中断的方式。

为了进一步提高处理中断的效率，GICv4引入了直接注入中断方式。具体原理则是直通设备在获取中断时，GIC会将分配给设备的物理中断与虚拟中断做一个映射。这样当设备触发中断时，GIC会直接发信号给vCPU。

有这样一种情况，设备触发中断时vCPU没有运行，即虚拟机处于休眠态，如果直接发vIRQ给vCPU是得不到响应的，这时候会产生一个物理的door-bell中断来代替，此中断交由Hypervisor处理，它会重新调度vCPU，从而使中断得到及时响应。

本文通过虚拟化下如何支持设备直通的角度，讲解了ARM架构支持DMA重映射跟中断重定向的原理，旨在普及ARM架构下一些支持虚拟化的技术。当然ARM架构对虚拟化的支持不仅局限于此。相信随着ARM生态的不断完善，这些技术会被越来越多的人所熟知。

编辑：jq