Pyspark 读取 csv [重复]答案

【问题标题】：Pyspark to read csv [duplicate]Pyspark 读取 csv [重复]
【发布时间】：2018-10-23 21:43:06
【问题描述】：

pyspark 新手，想将 csv 文件读取到数据框。似乎无法阅读。有什么帮助吗？

from pyspark.sql import SQLContext
import pyspark
from pyspark.sql import Row
import csv


sql_c = SQLContext(sc)

rdd = sc.textFile('data.csv').map(lambda line: line.split(","))

rdd.count()

Py4JJavaError Traceback（最近一次调用最后一次）在（） ----> 1 rdd.count()

【问题讨论】：

标签： python apache-spark pyspark

【解决方案1】：

如果您使用 Spark 2，首选方式是

df = sql_c.read.csv('data.csv')

【讨论】：

【解决方案2】：

独立于 spark 版本读取 csv：

if sc.version.startswith("2"):
     csv_plugin = "csv"
else:
     csv_plugin = "com.databricks.spark.csv"

dataframe = sql_c.read.format(csv_plugin).options(header='true', inferSchema='true').load('data.csv')

如果您没有标头，请删除 header='true'。

【讨论】：