7

FPGA（現在はPCIエクスプレス経由でPCに接続されている）がDMAデータをCPU RAMに直接転送できるようにするLinuxデバイスドライバーを作成しています。これは対話なしで実行する必要があり、ユーザー スペースはデータにアクセスできる必要があります。詳細: - 64 ビット Fedora 14 を実行中 - システムに 8GB の RAM がある - FPGA (Cyclone IV) が PCIe カード上にある

これを達成するために、私は次のことを実行しました。RAM の上位 2GB が /proc/meminfo で予約されていることがわかります - FPGA レジスタへの読み書きを可能にするために BAR0 をマップしました (これは完全に機能します) - remap_pfn_range() を使用してドライバーに mmap 関数を実装しました - ioremap を使用してバッファーの仮想アドレス - バッファーにデータを書き込むための ioctl 呼び出し (テスト用) を追加しました - データをバッファーに書き込む ioctl 呼び出しを作成して mmap をテストし、データがユーザー空間からバッファーにあることを確認しました

私が直面している問題は、FPGA が私が提供したバッファ アドレスにデータを DMA し始めるときです。(DMAR から:) PTE エラーが常に発生するか、以下のコードで次のエラーが発生します: DMAR: [DMA Write] Request device [01:00.0] fault addr 186dc5000
DMAR: [fault reason 01] Present bit in root entry is DRHD のクリア: エラー ステータス reg 3 の処理

最初の行のアドレスは、FPGA からの DMA に基づいて毎回 0x1000 ずつインクリメントします。

ここに私の init() コードがあります:

#define IMG_BUF_OFFSET     0x180000000UL // Location in RAM (6GB)
#define IMG_BUF_SIZE       0x80000000UL  // Size of the Buffer (2GB)

#define pci_dma_h(addr) ((addr >> 16) >> 16)
#define pci_dma_l(addr) (addr & 0xffffffffUL)

if((pdev = pci_get_device(FPGA_VEN_ID, FPGA_DEV_ID, NULL)))
{
    printk("FPGA Found on the PCIe Bus\n");

    //  Enable the device 
    if(pci_enable_device(pdev))
    {
        printk("Failed to enable PCI device\n");
        return(-1);
    }
    //  Enable bus master
    pci_set_master(pdev);

    pci_read_config_word(pdev, PCI_VENDOR_ID, &id);
    printk("Vendor id: %x\n", id);
    pci_read_config_word(pdev, PCI_DEVICE_ID, &id);
    printk("Device id: %x\n", id);
    pci_read_config_word(pdev, PCI_STATUS, &id);
    printk("Device Status: %x\n", id);
    pci_read_config_dword(pdev, PCI_COMMAND, &temp);
    printk("Command Register : : %x\n", temp);
    printk("Resources Allocated :\n");
    pci_read_config_dword(pdev, PCI_BASE_ADDRESS_0, &temp);
    printk("BAR0 : %x\n", temp);

  // Get the starting address of BAR0
  bar0_ptr = (unsigned int*)pcim_iomap(pdev, 0, FPGA_CONFIG_SIZE);
  if(!bar0_ptr)
  {
     printk("Error mapping Bar0\n");
     return -1;
  }
  printk("Remapped BAR0\n");

  // Set DMA Masking
  if(!pci_set_dma_mask(pdev, DMA_BIT_MASK(64))) 
  {
     pci_set_consistent_dma_mask(pdev, DMA_BIT_MASK(64));
     printk("Device setup for 64bit DMA\n");
  }
  else if(!pci_set_dma_mask(pdev, DMA_BIT_MASK(32)))
  {
     pci_set_consistent_dma_mask(pdev, DMA_BIT_MASK(32));
     printk("Device setup for 32bit DMA\n");
  }
  else
  {
     printk(KERN_WARNING"No suitable DMA available.\n");
     return -1;
  }

  // Get a pointer to reserved lower RAM in kernel address space (virtual address)
  virt_addr = ioremap(IMG_BUF_OFFSET, IMG_BUF_SIZE);
  kernel_image_buffer_ptr = (unsigned char*)virt_addr;
  memset(kernel_image_buffer_ptr, 0, IMG_BUF_SIZE);
  printk("Remapped image buffer: 0x%p\n", (void*)virt_addr);

}

これが私のmmapコードです：

unsigned long image_buffer;
unsigned int  low;
unsigned int  high;

if(remap_pfn_range(vma, vma->vm_start, vma->vm_pgoff,
                   vma->vm_end - vma->vm_start,
                   vma->vm_page_prot))
{
   return(-EAGAIN);
}

image_buffer = (vma->vm_pgoff << PAGE_SHIFT);

if(0 > check_mem_region(IMG_BUF_OFFSET, IMG_BUF_SIZE))
{
   printk("Failed to check region...memory in use\n");
   return -1;
}

request_mem_region(IMG_BUF_OFFSET, IMG_BUF_SIZE, DRV_NAME);

// Get the bus address from the virtual address above
//dma_page   = virt_to_page(addr);
//dma_offset = ((unsigned long)addr & ~PAGE_MASK);
//dma_addr   = pci_map_page(pdev, dma_page, dma_offset, IMG_BUF_SIZE, PCI_DMA_FROMDEVICE);    
//dma_addr = pci_map_single(pdev, image_buffer, IMG_BUF_SIZE, PCI_DMA_FROMDEVICE);   
//dma_addr = IMG_BUF_OFFSET;
//printk("DMA Address: 0x%p\n", (void*)dma_addr);

// Write start or image buffer address to the FPGA
low  = pci_dma_l(image_buffer);
low &= 0xfffffffc;
high = pci_dma_h(image_buffer);
if(high != 0)
   low |= 0x00000001;

*(bar0_ptr + (17024/4)) = 0;

//printk("DMA Address LOW : 0x%x\n", cpu_to_le32(low));
//printk("DMA Address HIGH: 0x%x\n", cpu_to_le32(high));
*(bar0_ptr + (4096/4))  = cpu_to_le32(low); //2147483649; 
*(bar0_ptr + (4100/4))  = cpu_to_le32(high); 
*(bar0_ptr + (17052/4)) = cpu_to_le32(low & 0xfffffffe);//2147483648;

printk("Process Read Command: Addr:0x%x Ret:0x%x\n", 4096, *(bar0_ptr + (4096/4)));
printk("Process Read Command: Addr:0x%x Ret:0x%x\n", 4100, *(bar0_ptr + (4100/4)));
printk("Process Read Command: Addr:0x%x Ret:0x%x\n", 17052, *(bar0_ptr + (17052/4)));
return(0);

ご協力いただきありがとうございます。

4

2 に答える 2

5

TLP パケットを書き込む RTL コードを自分で制御していますか? または、使用している DMA エンジンと PCIe BFM (バス機能モデル) を指定できますか? シミュレーターでパケットはどのように見えますか? ほとんどの適切な BFM は、PCIe ハードウェア キャプチャ システムを使用して展開後に検出するのではなく、これをトラップする必要があります。

RAM の上位 2GB をターゲットにするには、デバイスから 2DW (64 ビット) アドレスを送信する必要があります。Fmt/Type のビットはこれを行うように設定されていますか? フォルト アドレスはマスクされた 32 ビット バス アドレスのように見えるため、このレベルの何かが正しくない可能性があります。また、PCIe はビッグ エンディアンであるため、ターゲット アドレスを PCIe デバイス エンドポイントに書き込むときは注意が必要です。Fmt が正しくない場合、ターゲット アドレスの下位バイトがペイロードにドロップされる可能性があります。適切な BFM は、結果として生じるパケット長の不一致を検出する必要があります。

最近のマザーボード/最新の CPU を使用している場合、PCIe エンドポイントは PCIe AER (高度なエラー レポート) を実行する必要があるため、最近の Centos/RHEL 6.3 を実行している場合はdmesg、エンドポイントの障害のレポートを取得する必要があります。これは、レポートがパケットの最初の少数の DW を特別なキャプチャ レジスタにキャプチャするため、非常に便利です。これにより、受信した TLP を確認できます。

カーネル ドライバーで、DMA マスクをセットアップしているように見えますが、デバイスからページへの書き込みを許可するように mmu をプログラムしていないため、これでは十分ではありません。の実装をpci_alloc_consistent()見て、これを達成するために他に何を呼び出す必要があるかを確認してください。

于 2012-07-31T09:53:31.600 に答える
2

それでも理由を探している場合は、次のようになります。カーネルではデフォルトで DMA_REMAPPING フラグが有効になっているため、IOMMU コンテキスト/ドメイン エントリがデバイス用にプログラムされていないため、IOMMU は上記のエラーをスローしています。

カーネル コマンド ラインで intel_iommu=off を使用するか、デバイスの IOMMU をバイパス モードにしてみてください。よろしく、サミール

于 2013-02-18T13:13:48.443 に答える