【发布时间】:2017-04-07 02:54:41
【问题描述】:
我想从 csv 文件创建 parquet 文件。出于测试目的,我在下面的代码中读取了一个文件并首先将其转换为 pandas 数据帧,然后再转换为 pyarrow 表。然后将该表存储在 AWS S3 上,并希望在该表上运行 hive 查询。
输入文件内容:
YEAR|WORD
2017|Word 1
2018|Word 2
代码:
dataFrame=pd.read_csv(inputFile, sep='|')
print(dataFrame)
print(dataFrame.dtypes)
print(dataFrame.columns)
dataFrame['C1'] = dataFrame['C1'].astype('str')
print(dataFrame.dtypes)
table=pa.Table.from_pandas(dataFrame)#,schema=pa.string())
pq.write_table(table, outputFile)
写入 pyarrow 表后,我查询了 parquet 文件以确保数据可以存储在 S3 中。但是结果很奇怪:
+--------+--------------+
| YEAR | WORD |
+--------+--------------+
| 2017 | [B@60716d4f |
| 2018 | [B@36bf8f00 |
+--------+--------------+
不知何故,int 值显示得很好,但是 object/str 值没有得到很好的转换。
感谢您对此的帮助。
谢谢。
【问题讨论】:
-
嗨,您介意在issues.apache.org/jira/browse/ARROW 上打开一个问题,我们可以在那里帮助调试吗?
-
这里有一个箭头问题来跟踪这个:issues.apache.org/jira/browse/ARROW-785
-
更新了 JIRA 的更多细节。