Spark：读取镶木地板文件时出现问题答案

【问题标题】：Spark: Issue while reading the parquet fileSpark：读取镶木地板文件时出现问题
【发布时间】：2019-01-09 11:03:14
【问题描述】：

读取任何镶木地板文件时出现以下异常：

org.apache.spark.sql.AnalysisException: Illegal Parquet type: FIXED_LEN_BYTE_ARRAY;
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.illegalType$1(ParquetSchemaConverter.scala:126)
at org.apache.spark.sql.execution.datasources.parquet.ParquetSchemaConverter.convertPrimitiveField(ParquetSchemaConverter.scala:193)

在 apache spark 的 repo 中找到了一个关于此的拉取请求： https://github.com/apache/spark/pull/20826

如何解决这个问题？

【问题讨论】：

在 spark.sql.parquet.writeLegacyFormat 中读取 parquet 时可以设置为 true 吗？

标签： apache-spark apache-spark-sql parquet

【解决方案1】：

我同意这很烦人。我们只是将它序列化为一个字符串，但我同意这是一个穷人的解决方案。

【讨论】：