SR-IOV

摘要：介紹SR-IOV 的概念、使用場景、VMware 和 KVM 中的配置方法。

第一部分：

生產業務中，我們在虛擬化平臺中遇到了部分虛擬機在業務高峰的時候，出現高延遲的情況。排查問題的時候，確認了兩種情況，1是Hypervisor 的延遲是正常的， 2是GuestOS 內部的延遲也是正常的。所以判斷應該是Hypervisor和GuestOS 之間的通信出現了問題。這時候想到了SR-IOV，想看看SR-IOV 能不能提供低延遲提供給對延遲敏感的業務。

寫這篇文章之前，正好看到Red Hat 發布了 Red Hat Virtualization V4版，官方文檔中，專門有一篇《Hardware considerations for implementing SR-IOV with Red Hat

Virtualization》。文章很短，主要介紹Red Hat Virtualization 中使用SR-IOV的前提條件：

CPU 必須支持IOMMU(比如英特爾的 VT-d 或者AMD的 AMD-Vi，Power8 處理器默認支持IOMMU)固件Firmware 必須支持IOMMU CPU 根橋必須支持 ACS 或者ACS等價特性 PCIe 設備必須支持ACS 或者ACS等價特性建議根橋和PCIe 設備中間的所有PCIe 交換設備都支持ACS，如果某個PCIe交換設備不支持ACS，其後的所有PCIe設備只能共享某個IOMMU 組，所以只能分配給1臺虛機。

Red Hat 虛擬化平臺V4 先介紹到這裏。

第二部分：

現在介紹一下IO 虛擬化。IO 虛擬化目前主要也是分為3種，第一是全虛擬化，通過VMM來模擬IO設備實現，VMM截獲GuestOS的IO請求，通過軟件模擬真實的硬件。VMM必須處理所有虛機的IO請求，然後將所有的IO情況序列化為可以被底層硬件處理的單一IO流。好處是GuestOS不需要考慮硬件設備的情況。問題是效率相對較低。例如 qemu。

第二種是IO半虛擬化技術。通過前端和後端模擬實現虛擬化。GuestOS中的半虛擬化驅動為前端，VMM 提供的與GuestOS 通訊的驅動程序為後端。前端驅動將GuestOS的請求通過與VMM之間的特殊通信機制發生給VMM後端需求，後端驅動處理完IO請求之後再發送給物理驅動。全虛擬化為了完成一次操作要涉及到多個寄存器的操作，使得VMM要截獲每個寄存器訪問並進行相應的模擬，就會導致多次上下文切換。這種方式能很大程度的減少上下文切換的頻率，提供更大的優化空間。例如 virtio 。

軟件的共享IO虛擬化技術

第三種是硬件輔助的IO虛擬化。主要包括英特爾VT-d， AMD的IOMMU(AMD-Vi) 和PCI-SIG 的IOV 。前兩種屬於Directed I/O。物理設備直接分配給虛擬機使用，通過硬件芯片完成GPA到MA 的翻譯。IOV 通過在硬件設備中增加一個PCIe 設備，用於呈現一個PF或多個VF，從而可以將每個VF單獨分配給不同的虛機使用。