如何通过内存映射从Linux内核空间访问PCI内存（Kernel 3.14）

Question

我正在寻找一种在不使用 DMA 和 IO 映射的情况下访问 PCI 设备（显式 BAR2 和 BAR3）内存空间的方法。我已经阅读了很多文档，但我从未见过流程图或一步一步的操作方法。所以我所有的尝试都没有成功。

这些是pci_probe里面的步骤我实际尝试过：

1. data = kzalloc( sizeof(*data) , GFP_KERNEL );
2. pci_set_drvdata(pdev, data);
3. pci_enable_device(pdev);

现在的问题是使用writeb 或readb 访问BAR2+offset 的正确地址是什么？或者是否有另一个函数可以从这个空间读取/写入？

---

PS：关于iomap 的类似问题已发布here。

Answer 1

经过大量研究，我找到了一种方法并读写 PCI BAR2。似乎ioremap、pci_ioremap_bar 或memremap()（内核 4.3+）允许 CPU 缓存 PCI 设备和内核空间内存之间传输的数据。这会导致数据损坏。但我不知道它最终来自哪里。

解决此问题的方法使用来自io.h 的ioremap_nocache。以下代码显示了 PCI 探测功能。

static int
_pci_probe ( struct pci_dev *pdev,
             const struct pci_device_id *ent )
{
  int ret = 0;
  int i;
  unsigned long *pbas2addr;
  u8  buf8;
  u8 *mem8;

  buf8  = 0xF0;
  // put mem8 to the heap and initialize them with zeros
  mem8 = kcalloc((0x020000),sizeof(u8), GFP_KERNEL);

  // enabling the device
  ret = pci_enable_device(pdev);
  if( ret )
  {
    printk(KERN_ERR "Failed to enable PCI device.\n");
    goto no_enable;
  }

  // take ownership of pci related regions
  pci_request_regions(pdev, "expdev");

  // checking if PCI-device reachable by checking that BAR0 is defined and
  // memory mapped
  if( !(pci_resource_flags(pdev,0) & IORESOURCE_MEM) )
  {
    printk(KERN_ERR "Incorrect BAR configuration.\n");
    ret = -ENODEV;
    goto bad_bar;
  }

  // remap BAR2 avoiding the use of CPU cache
  pbas2addr = ioremap_nocache(pci_resource_start(pdev,2),
                              pci_resource_len(pdev,2));

  printk(KERN_INFO "BAR2 Addr: %p\n",pbas2addr);
  printk(KERN_INFO "BAR2 len:  %x\n",(int)pci_resource_len(pdev,2));

  // write something to BAR2
  buf8  = 0xF0;
  for ( i = 0x000000; i<0x020000; i++ )
  {
    *((u8*)pbas2addr+i) = buf8; // it's important to cast the pointer
  }

  // read back
  buf8 = 0;
  for ( i = 0x000000; i<0x020000; i++ )
  {
    mem8[i] = *((u8*)pbas2addr+i);
  }

  return 0;

bad_bar:
  pci_disable_device(pdev);
no_enable:

  return ret;
}

另外：

1. 使用iowrite 对映射内存的访问不稳定。有时会在 PCI BAR2 内存上发现人工垃圾。也许有这个命令附带的保持序列。我不知道。
2. 在我的情况下，BAR2 内存的某些地址范围需要写入两次。我认为这是该设备的一种特殊行为。
3. 在我的例子中，并不是所有的地址范围都可以通过 32 位访问来访问。我认为这也是该设备的一种特殊行为。

Answer 2

一种可移植的方式是使用 pci_iomap() 函数。它会自动确定 BAR 的类型并与 MMIO 和 PIO 一起使用。而不是 writeb()/readb() 你应该使用 ioread*()/iowrite*()