【问题标题】:PyArrow Table to PySpark Dataframe conversionPyArrow 表到 PySpark 数据框的转换
【发布时间】:2019-04-19 01:38:06
【问题描述】:

我正在尝试将我的 Pandas 数据帧转换为 PySpark 数据帧。 createDataFrame 函数不起作用,所以我找到了 PyArrow。

我可以转换 Pandas --> 一个 PyArrow 表,但我找不到任何方法来转换 PyArrow 表 --> Spark

有谁知道我如何实现这一目标?

谢谢

【问题讨论】:

    标签: python-3.x pandas pyarrow


    【解决方案1】:

    这个问题的回复晚了,但是,它一直在我的搜索中出现,所以我想我会提供一个我用过的方法,也许它会帮助其他用户。

    我正在使用 pyarrow 从 s3 对象中读取 parquet 文件,然后将其转换为 pandas 数据框。然后,我可以使用 spark 会话将这个 pandas 数据帧转换为 spark 数据帧。

    import boto3
    import pandas as pd
    import io
    import pyarrow.parquet as pq
    from pyspark.context import SparkContext
    from pyspark.sql.session import SparkSession
    
    sc = SparkContext('local') #Pyspark normally has a spark context (sc) configured so this may not be necessary, use this if calling a python script using spark-submit
    spark = SparkSession(sc) #This is used to convert the pandas dataframe to a spark dataframe
    
    s3 = boto3.resource(/
    service_name='s3',/
    use_ssl=False,/
    aws_access_key_id='S3_ACCESS_KEY_ID',/
    aws_secret_access_key='S3_ACCESS_KEY',/
    endpoint_url='S3_URL')
    
    bucket_name = 'BUCKET_NAME'
    object_name = 'OBJECT_NAME'
    
    buffer = io.BytesIO()
    s3_object = s3.Object(bucket_name,object_name)
    s3_object.download_fileobj(buffer)
    table = pq.read_table(buffer)
    df = table.to_pandas()
    df_spark = spark.createDataFrame(df) #**Conversion from pandas df to spark df**
    

    您只需要一个 spark 会话即可将 pandas 数据帧转换为 spark 数据帧。我包含了 pyarrow 的附加信息,因为在搜索 pyarrow 时会出现这篇文章。

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 1970-01-01
      • 1970-01-01
      • 2021-07-14
      • 1970-01-01
      • 1970-01-01
      • 2021-05-21
      • 1970-01-01
      相关资源
      最近更新 更多