【发布时间】:2019-04-19 01:38:06
【问题描述】:
我正在尝试将我的 Pandas 数据帧转换为 PySpark 数据帧。 createDataFrame 函数不起作用,所以我找到了 PyArrow。
我可以转换 Pandas --> 一个 PyArrow 表,但我找不到任何方法来转换 PyArrow 表 --> Spark
有谁知道我如何实现这一目标?
谢谢
【问题讨论】:
标签: python-3.x pandas pyarrow
我正在尝试将我的 Pandas 数据帧转换为 PySpark 数据帧。 createDataFrame 函数不起作用,所以我找到了 PyArrow。
我可以转换 Pandas --> 一个 PyArrow 表,但我找不到任何方法来转换 PyArrow 表 --> Spark
有谁知道我如何实现这一目标?
谢谢
【问题讨论】:
标签: python-3.x pandas pyarrow
这个问题的回复晚了,但是,它一直在我的搜索中出现,所以我想我会提供一个我用过的方法,也许它会帮助其他用户。
我正在使用 pyarrow 从 s3 对象中读取 parquet 文件,然后将其转换为 pandas 数据框。然后,我可以使用 spark 会话将这个 pandas 数据帧转换为 spark 数据帧。
import boto3
import pandas as pd
import io
import pyarrow.parquet as pq
from pyspark.context import SparkContext
from pyspark.sql.session import SparkSession
sc = SparkContext('local') #Pyspark normally has a spark context (sc) configured so this may not be necessary, use this if calling a python script using spark-submit
spark = SparkSession(sc) #This is used to convert the pandas dataframe to a spark dataframe
s3 = boto3.resource(/
service_name='s3',/
use_ssl=False,/
aws_access_key_id='S3_ACCESS_KEY_ID',/
aws_secret_access_key='S3_ACCESS_KEY',/
endpoint_url='S3_URL')
bucket_name = 'BUCKET_NAME'
object_name = 'OBJECT_NAME'
buffer = io.BytesIO()
s3_object = s3.Object(bucket_name,object_name)
s3_object.download_fileobj(buffer)
table = pq.read_table(buffer)
df = table.to_pandas()
df_spark = spark.createDataFrame(df) #**Conversion from pandas df to spark df**
您只需要一个 spark 会话即可将 pandas 数据帧转换为 spark 数据帧。我包含了 pyarrow 的附加信息,因为在搜索 pyarrow 时会出现这篇文章。
【讨论】: