将 ORC 数据文件附加到 Vora 表是否有大小限制

Question

我在 Vora 1.3 中创建了一个 Vora 表，并尝试从我从 SAP BW 归档过程（Hadoop 上的 NLS）获得的 ORC 文件中将数据附加到该表。我有 20 个文件，总共包含大约 50 条 Mio 记录。

当我尝试将 APPEND 语句中的“文件”设置用作“/path/*”时，大约 1 小时后，Vora 返回此错误消息：

com.sap.spark.vora.client.VoraClientException: Could not load table F002_5F: [Vora [eba156.extendtec.com.au:42681.1640438]] java.lang.RuntimeException: Wrong magic number in response, expected: 0x56320170, actual: 0x00000000. An unsuccessful attempt to load a table might lead to an inconsistent table state. Please drop the table and re-create it if necessary. with error code 0, status ERROR_STATUS

接下来我尝试使用单独的 APPEND 语句从每个文件中附加数据。在第 15 次（共 20 次）追加时，我收到了相同的错误消息。

Answer 1

该错误表明节点 eba156.extendtec.com.au 上的 Vora 引擎不可用。我怀疑它要么崩溃，要么遇到内存不足的情况。

您可以检查日志目录中的故障转储。如果您找到了，请打开客户消息以进行进一步调查。

如果您没有找到故障转储，则可能是内存不足的情况。您应该在引擎日志文件或 /var/log/messages 中找到确认信息（如果 oom 杀手结束了进程）。在这种情况下，可用内存不足以加载数据。