【问题标题】:Fast and Clean way to parse packets快速和干净的方式来解析数据包
【发布时间】:2020-10-28 21:58:05
【问题描述】:

我有大约 150 个不同类型的数据包,其 id 为 0 - 149。每个数据包都有相应的解析函数。
每当数据包到达时,我都必须调用其相应的解析函数。
据我所知,有 3 种好方法可以做到这一点

  1. 检查操作码并在 150 个 if-else 条件内调用函数
  2. 150 个开关盒
  3. 以数据包 id 为索引的函数指针数组

我没有任何内存限制,服务器也非常快。所以浪费几个 CPU 周期不是什么大问题。

有没有更好的方法来做到这一点?如果不是,以上哪种方法最好?
注意:我使用的是 C,而不是 C++

【问题讨论】:

  • "我没有任何内存限制,服务器也非常快。"翻译为“谁在乎?尝试一下,看看效果如何。” switch 可能可以做到,如果不是某种正则表达式的话。
  • 老实说,这里真正的问题不是性能,而是管理复杂性。如果你能为此提出一个dependency injection 模型,那么它将使添加和删除案例比使用if 语句和switch 案例更容易。就我个人而言,我倾向于使用一些轻型工具来根据模板自动生成一些代码,以便在添加新案例时相应地重建代码。一点点 Python、Perl 或 Ruby 可以在这里提供帮助,或者在紧要关头,一个用 C 编译的支持工具。
  • Choice 3. 运行良好——简单、高效、易于扩展
  • 我会按照@tadman 说的去做。在过去,我使用 awk 来完成此操作。快速简单

标签: c linux


【解决方案1】:

我将描述我过去这样做的一种方法,用于解析消息 在 Unix 和大型机之间。那时它似乎简单易行 管理。使用了多年。在这里,我只是从部分代码中复制。希望对你有用

简而言之

事实上,它只是一个 8 行的 awk 脚本和它周围的机制。这篇文章只是一个对我来说运行良好并且可以很容易适应的系统的描述:awk 生成一个非常基本的头文件,它链接了函数和 id,并且它集成到构建过程中,所以如果我们改变一些东西或者添加一个新功能,它会自行更新。为什么awk?好吧,我相信这些A、W 和K 的人是天才,它与模式配合得非常好。但是,当awk 不是一个选项时,我也为 C 或 C++ 或 java 或 Python 中的引用表编写了这种非常相似的 .h 文件生产

它是如何工作的

我在源代码上使用了一个指向函数的指针表和一个简单的注释方案。为了这个例子,函数就像下面的function_3()

// function_3 @packet-id 149
// function_3 @packet-id 0

int     function_3(Packet* p) // @packet-id 3
{
    printf("Hi from function_3(), id is %d\n", (int) p->id);
    return 0;
};
  • 注解为@packet-id,与函数名在同一行,如上图function_3()
  • 当有多个 id 被同一个函数解析时,我使用了类似的注释
// function_3 @packet-id 149

通常就在函数本身之前。在这种情况下,function_3() 将被调用 id 3、149 和 0 的数据包

根据packet id调用解析函数

我用 id 调用,像这样

int     callById(const Id, const VFT*);

其中Id 是消息类型,VFT 是引用表,其中位置N 是解析Id N 的函数的地址。

在启动函数时

VFT*    build_VFT(const unsigned);

根据源代码中的注释构建数组。我将在下面发布一个小例子

示例结构

typedef uint8_t Id;

typedef struct
{
    Id      id;
    void*   data;

}   Packet;

typedef int (*Packet_care)(Packet*);

typedef struct
{
    unsigned     nIds;
    Packet_care* fn;

}   VFT;   

int     function_1(Packet*); 
int     function_2(Packet*);
int     function_3(Packet*);

VFT*    build_VFT(const unsigned);
VFT*    delete_VFT(VFT*);
int     callById(const Id, const VFT*);

Packet_care 是一个指向函数的指针,该函数接收指向 Packet 的指针并返回 int。我的情况有点复杂,但这里的代码只是一个测试用例,所以我只留下了最少的部分:Packet 这里只是一个Id 和一些数据。 VFT 只有一个计数器和指针表

解析注解

这里是 C 和 Linux,所以 awk 并不是完全偏离主题...

BEGIN       { found = 0 }
/@packet-id/{ 
       fName =  $2
       if ( fName ~ /\(/ )
       {
           fName = gensub( /(.+)\((.+)/, "\\1", 1, $2)
       }
       ref = 0
       for( i = 3; i < NF; i++)
       {
           if ($i ~ "@packet-id" )
           {
               ref = i+1
               i = NF + 1
           }
       }
       print ARRAY, "[", $ref, "] = ", fName, ";"
       found = found + 1
   }
END {   exit found    }

这当然可以用 C 或任何语言编写,但 awk 是为同时编写 C 的同一个人编写的,并且仅用于此类事情。而且很简单……

  • 程序只查找带有所选注释的行 --- @packet-id 这里 --- 并将下一个字符串作为Id 数字。 ARRAY 是一个执行参数,并给出了 VFT 源中的 Array 名称。输出只是一个表F[ID] = N,其中F 是数组的名称,ID 是数据包ID,N 是函数名称。
  • 脚本构建一个包含在程序编译中的文件。这是一个单行命令。但我将在这里展示一个更易于阅读的 1 行 shell 脚本:
 ./build_ref.sh test.h from vft.c using "vft->fn"

它就是这样做的:使用"vft.c" 上的注释构建"ref.h",假设VFT 被声明为vft 并且指针数组是fn[]。

脚本中的单个命令是

awk -v ARRAY=${5} -f t.awk.sh ${3} > ${1} 

只是为了维持生计。

试运行

Processing packets...

Will call function for packet id 0
Hi from function_3(), id is 0
function returned 0 for id 0

Will call function for packet id 1
Hi from function_1(), id is 1
function returned 0 for id 1

Will call function for packet id 2
Hi from function_2(), id is 2
function returned 0 for id 2

Will call function for packet id 3
Hi from function_3(), id is 3
function returned 0 for id 3
function returned -1 for id 4
function returned -1 for id 5

Will call function for packet id 149
Hi from function_3(), id is 149

Will call function for packet id 22
Hi from function_2(), id is 22

Will call function for packet id 12
Hi from function_2(), id is 12

这里是 main.c

#include "vft.h"
int main(void)
{
    VFT* vft = build_VFT(150);
    printf("\nProcessing packets...\n");
    for (int i = 0; i <= 5; i += 1)
        printf("function returned %d for id %d\n",
            callById( (Id) i, vft), i);

    callById(149,vft);
    callById(22,vft);
    callById(12,vft);
    vft = delete_VFT(vft);
    return 0;
};

创建一个表并根据 Id 调用解析器函数。表drestroyed,程序结束

表构造函数


VFT*    build_VFT(const unsigned size)
{
    VFT* vft = (VFT*) malloc(sizeof(VFT));
    vft->nIds = size;
    vft->fn = (Packet_care*) malloc ( size*sizeof(Packet_care*) );
    for( int i=0; i<size; i+= 1) *(vft->fn + i) = NULL;
    #include "ref.h"
    return vft;
};

struct 分配有所需的size,指针是根据源代码中的注释定义的。包含的文件是脚本的输出。很简单的

源文件

有几个文件:

  • main.c 在上面
  • vft.h 是标题
  • vfc.c 有
int     function_1(Packet*); 
int     function_2(Packet*);
int     function_3(Packet*);

VFT*    build_VFT(const unsigned);
VFT*    delete_VFT(VFT*);
int     callById(const Id, const VFT*);

正如预期的那样。 Delete_VFT() 是微不足道的。 callById() 实际上是一个单行,只是一个电话。但在示例中是

int     callById(const Id id, const VFT* V)
{
    static Packet pck;
    pck.id = id;
    if( (unsigned) id >= V->nIds) return -1;
    if( V->fn[id] == NULL ) return -1;
    printf("\nWill call function for packet id %d\n", (int) id );
    return (*V->fn[(unsigned)id])(&pck);
};

由于此代码无法运行,因此仅使用 Id 在线构建数据包。并调用相应的解析器函数。

这没有经过广泛的测试。我只是从这里的地方剪切和粘贴。使用makefile在 gcc 9.3 下编译

all:  main 

clear: 
    rm -f main *.o
    $(shell ./build_ref.sh ref.h from vft.c using "vft->fn")

main: main.o vft.o
    cc -o main main.o vft.o

main.o: main.c
    cc -c main.c

vft.o: vft.c vft.h
    cc -c vft.c

vft.c: vft.h

本例的表格

毕竟只是一张桌子……

vft->fn [ 1 ] =  function_1 ;
vft->fn [ 12 ] =  function_2 ;
vft->fn [ 22 ] =  function_2 ;
vft->fn [ 2 ] =  function_2 ;
vft->fn [ 149 ] =  function_3 ;
vft->fn [ 0 ] =  function_3 ;
vft->fn [ 3 ] =  function_3 ;

所有文件

以下是包含所有文本的单个文件。如果您觉得有用,我可以在 github 上发布链接

All files:

//////////////////////////////////////////////////////////////1: vft.h

#include <stdint.h>
#include <stdio.h>
#include <stdlib.h>

typedef uint8_t Id;

typedef struct
{
    Id      id;
    void*   data;

}   Packet;

typedef int (*Packet_care)(Packet*);

typedef struct
{
    unsigned     nIds;
    Packet_care* fn;

}   VFT;   

int     function_1(Packet*); 
int     function_2(Packet*);
int     function_3(Packet*);

VFT*    build_VFT(const unsigned);
VFT*    delete_VFT(VFT*);
int     callById(const Id, const VFT*);

//////////////////////////////////////////////////////////////2: vft.c

#include "vft.h"

int     function_1(Packet* p) // @packet-id 1
{
    printf("Hi from function_1(), id is %d\n", (int) p->id);
    return 0;
};

// function_2 @packet-id 12
// function_2 @packet-id 22
int     function_2(Packet* p) // @packet-id 2
{
    printf("Hi from function_2(), id is %d\n", (int) p->id);
    return 0;
};

// function_3 @packet-id 149
// function_3 @packet-id 0
int     function_3(Packet* p) // @packet-id 3
{
    printf("Hi from function_3(), id is %d\n", (int) p->id);
    return 0;
};

VFT*    build_VFT(const unsigned size)
{
    VFT* vft = (VFT*) malloc(sizeof(VFT));
    vft->nIds = size;
    vft->fn = (Packet_care*) malloc ( size*sizeof(Packet_care*) );
    for( int i=0; i<size; i+= 1) *(vft->fn + i) = NULL;
    #include "ref.h"
    return vft;
};

VFT*    delete_VFT(VFT* vft)
{
    if ( vft == NULL ) return NULL;
    if ( vft->nIds == 0) return NULL;
    free( vft->fn );
    free( vft );
    return NULL;
};

int     callById(const Id id, const VFT* V)
{
    static Packet pck;
    pck.id = id;
    if( (unsigned) id >= V->nIds) return -1;
    if( V->fn[id] == NULL ) return -1;
    printf("\nWill call function for packet id %d\n", (int) id );
    return (*V->fn[(unsigned)id])(&pck);
};

//////////////////////////////////////////////////////////////3: main.c

#include "vft.h"
int main(void)
{
    VFT* vft = build_VFT(150);
    printf("\nProcessing packets...\n");
    for (int i = 0; i <= 5; i += 1)
        printf("function returned %d for id %d\n",
            callById( (Id) i, vft), i);

    callById(149,vft);
    callById(22,vft);
    callById(12,vft);
    vft = delete_VFT(vft);
    return 0;
};

//////////////////////////////////////////////////////////////4: t.awk.sh

BEGIN       { found = 0 }
/@packet-id/{ 
        fName =  $2
        if ( fName ~ /\(/ )
        {
            fName = gensub( /(.+)\((.+)/, "\\1", 1, $2)
        }
        ref = 0
        for( i = 3; i < NF; i++)
        {
            if ($i ~ "@packet-id" )
            {
                ref = i+1
                i = NF + 1
            }
        }
        print ARRAY, "[", $ref, "] = ", fName, ";"
        found = found + 1
    }
END {   exit found    }

//////////////////////////////////////////////////////////////5: build_ref.sh

awk -v ARRAY=${5} -f t.awk.sh ${3} > ${1} 

//////////////////////////////////////////////////////////////6: makefile

all:  main 

clear: 
    rm -f main *.o
    $(shell ./build_ref.sh ref.h from vft.c using "vft->fn")

main: main.o vft.o
    cc -o main main.o vft.o

main.o: main.c
    cc -c main.c

vft.o: vft.c vft.h
    cc -c vft.c

vft.c: vft.h

//////////////////////////////////////////////////////////////7: ref.h for the example

vft->fn [ 1 ] =  function_1 ;
vft->fn [ 12 ] =  function_2 ;
vft->fn [ 22 ] =  function_2 ;
vft->fn [ 2 ] =  function_2 ;
vft->fn [ 149 ] =  function_3 ;
vft->fn [ 0 ] =  function_3 ;
vft->fn [ 3 ] =  function_3 ;

【讨论】:

    猜你喜欢
    • 2022-08-11
    • 2016-08-05
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    相关资源
    最近更新 更多