【发布时间】:2021-09-27 08:31:40
【问题描述】:
如标题中所述,我正在寻找有关我遇到的错误的任何帮助。我已经关注了类似的问题并尝试了这里提到的内容,但仍然没有帮助。
我尝试在其上运行我的 pyspark 代码的文件中有以下数据。
下面是似乎出现此错误的代码
def parseLine(line):
fields = line.split(',')
stationID = fields[0]
entryType = fields[2]
temperature = float(fields[3]) * 0.1 * (9.0 / 5.0) + 32.0
return (stationID, entryType, temperature)
lines = sc.textFile("<file>")
parsedLines = lines.map(parseLine)
第 4 列在 pyspark 中将被读取为第 3 个字段,它是一个数字字段。所以我想知道为什么将字符串转换为浮点数会出错?我在这里遗漏了什么吗?
【问题讨论】: