PCIE XDMA开发环境搭建以及环路测试-电子发烧友网

1.1 课程介绍

这一章开始主要介绍 XILINX FPGA PICE IP XDMA IP的使用。XDMA IP使用部分教程分LINUX 篇和WINDOWS篇两个部分。通过实战，面向应用，提供给大家 XILINX FPGA PCIE 应用解决方案。

本教程以MZ7035FA作为样机测试。在正式开始教程内容前，有必要把MZ7035FA开发板的特点说明下。这是一款高性价比的FPGA开发板。带PCIE接口，SFP光通信接口，3路千兆以太网口，2路SATA接口,1路HDMI输出，1路串口，1路TF卡接口。支持MSXBO(米联客)FEP标准扩展接口。采用的CPU型号为XC7Z035-FFG676。PL端搭载32bit 1024MB DDR3内存,PS端搭载32bit 1024MB DDR3内存，FPGA读写DDR支持的最大数据时钟为1600M，可以进行很多复杂的开发任务。

1.2 XDMA 概述

Xilinx 提供的DMASubsystem for PCIExpressIP是一个高性能，可配置的适用于PCIE2.0，PCIE3.0 的SG 模式 DMA，提供用户可选择的 AXI4 接口或者 AXI4-Stream接口。一般情况下配置成 AXI4 接口可以加入到系统总线互联，适用于大数据量异步传输，通常情况都会使用到 DDR，AXI4-Stream 接口适用于低延迟数据流传输。

XDMA 是SGDMA，并非Block DMA，SG 模式下，主机会把要传输的数据组成链表的形式，然后将链表首地址通过BAR 传送给XDMA，XDMA 会根据链表结构首地址依次完成链表所指定的传输任务。

1.3 XDMA 提供如下接口：

AXI4、AXI4-Stream，必须选择其中一个，用来数据传输

AXI4-Lite Master，可选，用来实现PCIE BAR 地址到AXI4-Lite 寄存器地址的映射，可用来读写用户逻辑寄

存器

AXI4-Lite Slave，可选，用来将XDMA 内部寄存器开放给用户逻辑，用户逻辑可以通过此接口访问XDMA

内部寄存器，不会映射到BAR

AXI4 Bypass 接口，可选，用来实现PCIE 直通用户逻辑访问，可用于低延迟数据传输

1.4 XDMA IP 配置

Mode：配置模式，选择 Advanced 高级配置

Lane Width：MZ7035 支持X4

Max Link Speed：选择5.0GT/s 即PCIE2.0

Reference Clock ：100MHZ，参考时钟 100M

DMA Interface Option：接口选择 AXI4 接口

AXI Data Width：128bit，即 AXI4 数据总线宽度为128bit

AXI Clock ：125M，即AXI4 接口时钟为 125MHZ

PCIE ID 配置

我们配置成Memory controller 让IP 自动选择VID 等

PCIE BAR 配置，这里面的配置比较重要

首先使能PCIE to AXI Lite Master Interface ，这样可以在主机一侧通过PCIE 来访问用户逻辑侧寄存器或者其他AXI4-Lite 总线设备

映射空间选择 1M，当然用户也可以根据实际需要来自定义大小。

PCIE to AXI Translation：这个设置比较重要，通常情况下，主机侧PCIE BAR 地址与用户逻辑侧地址是不一样的，这个设置就是进行BAR 地址到AXI 地址的转换，比如主机一侧 BAR 地址为0，IP 里面转换设置为0x80000000，则主机访问 BAR 地址0 转换到AXI LIte 总线地址就是0x80000000

PCIE to DMA Interface ：选择64bit 使能

DMA Bypass 暂时不用

PCIE 中断设置

User Interrupts：用户中断，XDMA 提供16 条中断线给用户逻辑，这里面可以配置使用几条中断线。

Legacy Interrupt：XDMA 支持 Legacy 中断

选择MSI 中断

注意：MSI 中断和 MSI-X 中断只能选择一个，否则会报错，如果选择了 MSI 中断，则可以选择 Legacy 中断，如果选择了 MSI-X 中断，那么 MSI 必须取消选择，同时Legacy 也必须选择None。此 IP 对于7 系列设置有这么个问题，如果使用Ultrascale 系列，则可以全部选择

配置DMA 相关内容

Number of DMA Read Channel（H2C）和Number of DMA Write Channel（C2H）通道数，对于PCIE2.0 来说最大只能选择 2，也就是 XDMA 可以提供最多两个独立的写通道和两个独立的读通道，独立的通道对于实际应用中有很大的作用，在带宽允许的前提前，一个PCIE 可以实现多种不同的传输功能，并且互不影响。这里我们选择1

Number of Request IDs for Read （Write）channel ：这个是每个通道设置允许最大的 outstanding 数量，按照默认即可

配置完成以后，点击Run Block Auto，可以看到之前的配置信息，如果有发现和目标配置不一样的，需要手动修改，点击OK，完成配置

配置完成以后，VIVADO 会自动进行必要的连接

到此为止，XDMA IP 配置就完成了只要再进行时钟和 GTP 约束即可。

1.5 MIG 7 SERIES 的配置

Step1:任单击 IP Catalog,选取 Memory Interface Generator(MIG 7 series)IP 添加到 Block design。双击 MIG 7 SERIES ，对这个 IP 进行配置。

双击生成的IP核

单击NEXT

继续单击NEXT

选择DDR3 单击NEXT

设置MIG 内核时钟频率为、内存型号、内存的数据位宽

设置MIG AXI4 最大支持的位宽，对于2片DDR 最大位宽为256bit

设置输入频率

系统和参考时钟时钟选择no buffer,MIG低电平复位

Step9:终端阻抗选择50hms，设置DCI

选择Fixed Pin Out

根据原理图手动填写PIN 脚定义,或者选择Read XDC/UCF直接读入pin脚定义,本课程下提供了MZ7035.ucf 的DDR 配置文件，直接读入既可。

填写完成后，先单击Validate再单击NEXT

继续单击NEXT

最后单击Generate，至此MIG的配置完成

1.6基础测试系统搭建

我们的测试目标是进行PCIE AXI4总线与外设进行读写操作，PCIE AXI4-Lite 总线进行用户逻辑寄存器或者其他 AXI4-Lite 总线设备访问操作。AXI4总线上挂载到MIG控制器DDR上去，实现对DDR的读写控制。

为此搭建系统为下图所示：

进行地址分配：

这里我们把挂在M_AXI上的DDR地址分配从0开始(对于widnows系统必须为0), M_AXI是需要进行DMA操作的。而M_AXI_LITE挂载的BRAM是需要进行BAR空间操作，所以地址设置为0x80000000和XMDA IP里面设置的地址对应。

1.7LINUX下驱动程序编译安装测试1.7.1 驱动编译和安装(下必须重新编译)

官方驱动包选择 2017 版本以后的，注意 2016 版本的有 BUG！！！

在终端进入到xdma 目录，输入make ，进行驱动编译

执行以下指令：

- Change directory to the driver directory.

cd driver

- Compile the kernel module driver.

make

- Change directory to the tests directory.

cd tests

- Compile the provided example software.

make

- Copy the provided driver rules from the etc directory to the

/etc/ directory on your system.

cp ../etc/udev/rules.d/* /etc/udev/rules.d/

关于驱动加载，这里有两点要说明一下，首先是在驱动加载之前，如果检测到系统中已经加载过驱动，那么它会将已经加载的驱动卸载，然后再加载。然后就是PCIe DMA的工作方式可以通过加载驱动传输参数进行修改。默认情况下DMA工作在中断模式，可以通过修改load_driver.sh脚本改为轮循模式如下图所示，但是可能驱动有问题，实际测试轮询模式有些程序无法正常执行，所以建议大家不要使用轮询模式。