如何从使用 Azure Spark 创建的 parquet 文件在 Azure ML Studio（通过 GUI）中创建 Azure 数据集答案

【问题标题】：How can I create an Azure dataset in Azure ML studio (through the GUI) from a parquet file created with Azure Spark如何从使用 Azure Spark 创建的 parquet 文件在 Azure ML Studio（通过 GUI）中创建 Azure 数据集
【发布时间】：2021-01-16 02:46:34
【问题描述】：

我正在尝试在 Azure ML Studio 的 GUI 中将文件加载为数据集。这些 parquet 文件是通过 Spark 创建的。

Spark 在我的文件夹中创建文件，例如“_SUCCESS”或“_committed_8998000”。

Azure ML Studio 无法读取或忽略它们并告诉我：

The provided file(s) have invalid byte(s) for the specified file encoding.
{
  "message": " "
}

我选择了“忽略不匹配的文件路径”，但它仍然不起作用。

如果我删除“_SUCCESS”和其他 Spark 文件，它可以工作。

【问题讨论】：

标签： azure apache-spark parquet azure-machine-learning-studio

【解决方案1】：

感谢您的反馈。您可以在路径中使用通配符。例如path = '**/*.parquet' 仅选择 parquet 文件

【讨论】：

我在“路径”字段中使用了“路径/*/*.parquet”，现在可以使用了。

【解决方案2】：

这是 Azure ML Studio 的问题。它可能会尝试解析和解码默认情况下写入 Parquet 文件旁边的 CRC 文件。

目前的解决方案是删除这些文件，并希望微软最终会解决这个问题。

【讨论】：