给定一个类似 csv 的字符串，如何加载到 Spark 数据帧中？ [复制]

Question

我有一个字符串，格式与 csv 相同，第一行为列名，其余记录为数据。 如何使用 pyspark 将此字符串加载到数据框中。

str = '''
        sale_id, cust_name, amount
        111, abc, 10000
        222, bcd, 15000
      '''

Answer 1

找到答案：

import pandas as pd
import io

data = io.StringIO(str)
pd_df = pd.read_csv(data, sep=",")
df = spark.createDataFrame(pd_df)
display(df)