IOMMU(四)-dma remapping

2022-04-28 17:42:59 浏览数 (1)

DMA remapping就是在DMA的过程中IOMMU进行了一次转换,MMU把CPU的虚拟地址(va)转换成物理地址(pa),IOMMU的作用就是把DMA的虚拟地址(iova)转换成物理地址(pa),MMU转换时用到了pagetable,IOMMU转换也要用到io pagetable,两者都是软件负责创建pagetable,硬件负责转换。IOMMU的作用就是限制DMA可操作的物理内存范围,当一个PCI设备passthrough给虚拟机后,PCI设备DMA的目的地址是虚拟机指定的,必须要有IOMMU限制这个PCI设备只能操作虚拟机用到的物理内存。

intel vt-d spec是IOMMU的标准,标准中一个domain就是一个隔离的空间,一个虚拟机就是一个domain,一个DPDK进行就是一个domain,一个PCI设备分配给这个domain后只能操作这个domain的物理内存。

io pagetable

IOMMU的pagetable和MMU的pagetable一模一样,转换方式也一样,都支持4KB/2M/1G大小的page,都支持4级和5级页表,4级和5级的区别就是va/iova的长度是48位还57位。

DMA类型

  • Requests without address-space-identifier

DMA中只带了source-id,也就是PCI设备的bus/dev/funtion。

  • Requests with address-space-identifier

DMA中除了source-id还有PASID,而这个PASID来自于PCIE config space中的PASID Capability,它是软件配置到PCIE config space中的。

转换类型

intel vt-d IOMMU支持四种转换类型

first level/second level/nested /passthrough translation

  • first level translation

类似于MMU页表,有可能出现页面不存在/权限不够等问题。

  • second level translation

类似于MMU页表,有可能出现页面不存在/权限不够等问题。

  • nested translation

类似于vt-x中的EPT,first level任何一级查到的结果是个中间值,并不是真正的物理地址,需要second level再转换一次才能得到真正的物理地址,比如有一个指针指向first level的PML4E,这个指针指向的并不是真正的物理地址,只有经过second level转换一下才能变成真正的物理地址,才能获取first level的PML4E表,从PML4E中得到PDPE指针,这个指针也需要second level进行一次转换,才是真正存放PDPE表的物理地址,依次类推。

  • passthrough translation

跳过转换,DMA的iova就是pa。

IOMMU工作模式

intel vt-d iommu可以工作于legacy和scale模式。

  • legacy mode

Root Table Address Register指向root table,它中translation Table Mode是00b,root table和conext table是真正的物理地址。legacy mode采用Requests without address-space-identifier,DMA中带有bus/dev/function,bus查root table,dev和function查context table,context table结果指向second level pagetable,查pagetable得到最终的物理地址。

scale mode

Root Table Address Register指向root table,它中ranslation Table Mode是01b,root/context/PASID-directory/PASID-tables是真正的物理地址。scale mode同时支持Requests without address-space-identifier和Requests with address-space-identifier,如果没有PASID,那么就取context table中默认的RID_PASID。bus查root table,dev和function查context table,context table的结果指向PASID directory,PASID directory的结果指向PASID table,PASID table的结果同时包含first level pagetable, second level pagetable和PASID Granular Translation Type (PGTT),PGTT中指明进行first level/second level/nested/passthrough translation。

总结

先了解大体原理,有时间再补充细节和代码。

0 人点赞