h2o 和 parquet - 无法确定文件类型错误

Question

我们正在使用 H2O（最新版本 3.22.1.1）从 s3 读取 parquet 数据。我们使用 python 与 H2O 对话。这是单个 H2O 实例 - 不是集群。

有时我们会收到此错误：

服务器错误 water.exceptions.H2OIllegalArgumentException： 错误：无法确定文件类型。对于 s3a://BUCKET_NAME/5c2e3fdc0c9c1800019c73f9/part-00001-c33635a2-76dc-4e49-948b-465726b7e3d9-c000.snappy.parquet

文件存在并且是有效的镶木地板文件。后续导入工作正常。

这是我们将文件导入H2O的python代码

h2o.import_file(path='s3a://BUCKET_NAME/5c2e3fdc0c9c1800019c73f9/part-00001-c33635a2-76dc-4e49-948b-465726b7e3d9-c000.snappy.parquet')

有没有办法强制 h2o 使用 parquet 类型？

Answer 1

H20 手册说要像df = h2o.import_file("/pathToFile/fileName") 那样做 你需要to load data from the machine(s) running H2O to the machine running Python。

因此，如果您的服务器没有运行 H20，可能这就是它显示错误的原因。