【问题标题】:Parquet creation Conversion from pandas dataframe to pyarrow table not working for object dtypeParquet 创建从 pandas 数据框到 pyarrow 表的转换不适用于对象 dtype
【发布时间】:2017-04-07 02:54:41
【问题描述】:

我想从 csv 文件创建 parquet 文件。出于测试目的,我在下面的代码中读取了一个文件并首先将其转换为 pandas 数据帧,然后再转换为 pyarrow 表。然后将该表存储在 AWS S3 上,并希望在该表上运行 hive 查询。

输入文件内容:

YEAR|WORD
2017|Word 1
2018|Word 2

代码:

dataFrame=pd.read_csv(inputFile, sep='|')
print(dataFrame)
print(dataFrame.dtypes)
print(dataFrame.columns)
dataFrame['C1'] = dataFrame['C1'].astype('str')
print(dataFrame.dtypes)
table=pa.Table.from_pandas(dataFrame)#,schema=pa.string())
pq.write_table(table, outputFile)

写入 pyarrow 表后,我查询了 parquet 文件以确保数据可以存储在 S3 中。但是结果很奇怪:

+--------+--------------+
| YEAR  |     WORD     |
+--------+--------------+
| 2017   | [B@60716d4f  |
| 2018   | [B@36bf8f00  |
+--------+--------------+

不知何故,int 值显示得很好,但是 object/str 值没有得到很好的转换。

感谢您对此的帮助。

谢谢。

【问题讨论】:

标签: pandas hive parquet


【解决方案1】:

这对我来说很好地复制了往返。请指定您的平台和python、pandas 和pyarrow 的版本

在 3.6 / macox 上(也适用于 2.7)

In [1]: import pandas as pd

In [2]: import pyarrow as pa

In [3]: pd.__version__
Out[3]: '0.19.2'

In [4]: pa.__version__
Out[4]: '0.2.0'

In [5]: data = """YEAR|WORD
   ...: 2017|Word 1
   ...: 2018|Word 2
   ...: """

In [6]: df = pd.read_csv(StringIO(data), sep='|')

In [7]: df
Out[7]: 
   YEAR    WORD
0  2017  Word 1
1  2018  Word 2

In [8]: df.dtypes
Out[8]: 
YEAR     int64
WORD    object
dtype: object

In [9]: table=pa.Table.from_pandas(df)

In [10]: import pyarrow.parquet as pq

In [12]: pq.write_table(table, 'foo.pk')

In [13]: pq.read_table('foo.pk').to_pandas()
Out[13]: 
   YEAR    WORD
0  2017  Word 1
1  2018  Word 2

In [14]: pq.read_table('foo.pk').to_pandas().dtypes
Out[14]: 
YEAR     int64
WORD    object
dtype: object

【讨论】:

  • 使用以下版本: >>> pd.__version__ u'0.19.2' >>> import pyarrow as pa >>> pa.__version__ '0.2.0' 查询时似乎发生了问题蜂巢。在 parquet 文件顶部创建 hive 表,如下所示: %sql CREATE EXTERNAL TABLE IF NOT EXISTS schema_abc.parquet_table_name( YEAR INT , WORD STRING ) STORED AS PARQUET LOCATION 's3://bucket_name/folder/parquet_files/' ***请注意:parquet_files 文件夹中有 testFile.parquet 文件。
猜你喜欢
  • 2015-05-03
  • 2014-03-17
  • 2019-04-19
  • 2021-08-31
  • 2015-12-28
  • 2022-01-06
  • 2018-09-30
  • 2014-01-05
  • 1970-01-01
相关资源
最近更新 更多