com.databricks.spark.csv 的推断模式问题

【问题标题】：inferschema issue with com.databricks.spark.csvcom.databricks.spark.csv 的推断模式问题
【发布时间】：2020-12-04 00:36:49
【问题描述】：

我有闲置的 csv

Name,Department
Sam,Software
1,Data Analytics

“名称”列有一行值为“Sam”，另一行值为 1 'Sam' 是字符串，1 是整数

使用 com.databricks.spark.csv 我无法将两行都加载到数据框

我能做些什么来解决这个问题

谢谢

【问题讨论】：

【解决方案1】：

inferSchema 选项用于识别列的数据类型，如果你的列数据有一行作为字符串，一行作为 int，它显然会失败。

如果你仍然想插入相同的数据，试试这个

Name,Department
Sam,Software
'1',Data Analytics

希望这能解决你的问题

【讨论】：