如何将 DPDK 应用程序编译为库

Question

我有一个使用 DPDK 的程序，我正在使用示例中提供的 Makefile 对其进行编译。

如果我将程序编译为 APP（如 here 所述），一切顺利 好。 但是，我的代码是一个更大的项目的一部分，为此使用 单独的makefile会带来很多麻烦。 所以我将我的代码捆绑在一个库中，如同一页中所述。

调用库中函数的程序（初始化 EAL) 出现此错误：

MBUF: error setting mempool handler
Cannot init mbuf pool

看来，当应用程序编译为库时，EAL 无法正确初始化。

我在这里报告使用 l2fwd 示例重现问题的步骤。

背景

我按照here 的描述从源代码构建了 DPDK，并且我有一个绑定到 DPDK 驱动程序的以太网接口：

$ $RTE_SDK/usertools/dpdk-devbind.py --status |head -n4
Network devices using DPDK-compatible driver
============================================
0000:01:00.0 '82599ES 10-Gigabit SFI/SFP+ Network Connection 10fb' drv=igb_uio unused=ixgbe

运行 l2fwd 示例

先复制示例文件夹，然后运行示例：

$ cp -r $RTE_SDK/examples/l2fwd $RTE_SDK/examples/l2fwd-lib/
$ cd $RTE_SDK/examples/l2fwd

$ make
CC main.o
LD l2fwd
INSTALL-APP l2fwd
INSTALL-MAP l2fwd.map

$ sudo ./build/l2fwd -l 0-3  -- -p 0x1
Port statistics ====================================
Statistics for port 0 ------------------------------
Packets sent:                        0
Packets received:                    0
Packets dropped:                     0
Aggregate statistics ===============================
Total packets sent:                  0
Total packets received:              0
Total packets dropped:               0
====================================================

• 有效！

构建与库相同的示例

• cd ../l2fwd-lib/
  mv main.c l2fwd.c
  

• 修改l2fwd.c，在顶部添加#include "l2fwd.h"并替换

  int main(int argc, char **argv)
  

  与

  int start(int argc, char **argv)
  

• 用库接口创建头文件l2fwd.h：

  int start(int argc, char **argv);
  

• 按照文档中的说明修改 Makefile：

  APP = l2fwd      --->   LIB = libl2fwd.a
  SRCS-y := main.c --->   SRCS-y := l2fwd.c
  include $(RTE_SDK)/mk/rte.extapp.mk   --->   include $(RTE_SDK)/mk/rte.extlib.mk 
  

• 编译库：

  $ make
  CC l2fwd.o
  AR libl2fwd.a
  INSTALL-LIB libl2fwd.a
  

• 编写一个使用该库的程序。仅使用以下 2 行创建 main.c 文件：

  #include "l2fwd.h"
  int main (int argc, char **argv) { start(argc, argv); }
  

• 编译它（使用所有需要的库）：

  gcc -L build/lib/ -L $RTE_SDK/build/lib/ main.c -o main.o -l l2fwd -l dpdk -l numa -pthread -l dl 
  

• 最后，使用之前使用的相同参数运行它：

  $ sudo ./main.o -l 0-3  -- -p 0x1
  EAL: Detected 40 lcore(s)
  EAL: Detected 2 NUMA nodes
  EAL: Multi-process socket /var/run/dpdk/rte/mp_socket
  EAL: Probing VFIO support...
  MAC updating enabled
  EAL: Error - exiting with code: 1
    Cause: No Ethernet ports - bye
  

在这种情况下，EAL 无法正确初始化（以太网端口仍绑定到 DPDK 驱动程序）。

编辑 1

根据@Andriy Berestovskyy 的说法，链接 DPDK 库时需要链接器 --whole-archive 选项。这解决了示例的问题。 但是，我的程序现在面临一个不同的问题。我需要使用自定义构建系统，因此我将 DPDK 应用程序链接为库。在执行期间我收到错误：

MBUF: error setting mempool handler
mempool/dpaa2: Not a valid dpaa2 buffer pool

看起来它正在使用 dpaa2 驱动程序，这是错误的驱动程序（我的 NIC 使用的是 igb_uio）。关于为什么会发生这种情况的任何提示？编译为 DPDK 应用程序时，相同的代码可以工作，因此它可能与链接过程有关。

编辑 2

这个错误是因为我编译了 DPDK CONFIG_RTE_BUILD_SHARED_LIB=y 选项。当 DPDK 构建为共享库时，必须使用 -d EAL 命令行选项显式设置驱动程序。 我用CONFIG_RTE_BUILD_SHARED_LIB=n重新编译了DPDK，问题解决了。

Answer 1

编译它（使用所有需要的库）：

gcc -L build/lib/ -L $RTE_SDK/build/lib/ main.c -o main.o -l l2fwd -l dpdk -l numa -pthread -l dl

我想问题出在这一步。 DPDK 使用链接级构造函数（即__attribute__((constructor))）。例如，参见RTE_INIT() 的定义。还有回调等等等等。

所以要正确链接到 DPDK，我们必须：

• 在 Makefile 中使用rte.app.mk（参见Development Kit Build System）

• 或者如果我们需要使用自定义构建系统，我们需要在 --whole-archive 选项之后链接 DPDK 库。

Answer 2

我遇到了类似的问题，正如here 中提到的，我使用-d 选项链接库“-d /usr/lib64/librte_mempool_ring.so”。它奏效了。