从 MonetdbLite C API 使用 monetdb_append

Question

我正在尝试在应用程序中使用 MonetDBLite C。根据 PDF (https://arxiv.org/pdf/1805.08520.pdf)，我将受益于使用 monetdb_append 函数加载大量数据的速度提升。来自PDF：

除了发出 SQL 查询，嵌入式进程还可以 使用有效地将大量数据批量追加到数据库中 monetdb_append 函数。该函数采用模式和 要附加到的表的名称，以及对要附加到的数据的引用 表的列。此功能允许高效批量 插入，因为解析中涉及大量开销 单独的 INSERT INTO 语句，当 用户要插入大量数据。

这是embedded.h中的声明

char* monetdb_append(monetdb_connection conn, const char* schema, const char* table, append_data *data, int ncols);

有没有人举例说明如何使用这个功能？我假设append_data结构的batid是BAT结构的标识。但目前尚不清楚如何将其与现有 API 一起使用。

Answer 1

二进制追加确实需要构建与要追加的列一样多的 BAT 结构。需要包含一些额外的 MonetDBLite 标头（monetdb_config.h 和 gdk.h）。重要的部分是：

1. 使用 COLnew 以正确的类型和计数创建 BAT
2. 为它们添加一些值，例如通过指针访问（具有正确的类型长度）bat->theap.base[i]
3. 为追加设置 BAT 属性（BATsetcount、BATsettrivprop 和 BBPkeepref）
4. 分配和填充append_data 数据结构。
5. 致电monetdb_append。

下面是一个简短的示例，如何将 42 个值附加到包含整数的单列表 (CREATE TABLE test (my_column INTEGER);)

// startup, connect etc. before

size_t n = 42;
BAT* b = COLnew(0, TYPE_int, n, TRANSIENT);
for (size_t i = 0; i < n; i++) {
    ((int*)b->theap.base)[i] = i; // or whatever
}

BATsetcount(b, n);
BATsettrivprop(b);
BBPkeepref(b->batCacheid);

append_data *ad = NULL;
ad = malloc(1 * sizeof(append_data));
ad[0].colname = "my_column";
ad[0].batid = b->batCacheid;

if (monetdb_append(conn, "sys", "test", ad, 1) != NULL) { /* handle error */}