使用pyarrow读取CSV时是否没有实现日期转换？答案

【问题标题】：Is date conversion not implemented when reading CSV using pyarrow?使用pyarrow读取CSV时是否没有实现日期转换？
【发布时间】：2020-01-01 04:00:12
【问题描述】：

我想在 Python 3.6 中使用 pyarrow 0.14.1 来读取一个 CSV 文件，该文件有一个名为 Date 的列，其中日期值采用 YYYY-MM-DD 格式（例如 2018-11-17）。

我想使用ConvertOptions.columntypes 将日期值转换为 date32() 格式，如下面的代码所示。

但是，我收到了ArrowNotImplementedError。

这是否意味着该功能尚未实现？

我在 GitHub 上搜索了 pyarrow 文档和 pyarrow 问题论坛，并在网络上进行了一般搜索，但我能找到的最相似的问题是 https://github.com/apache/arrow/issues/3223，这不一样。

import pyarrow as pa
from pyarrow import csv

file_path = '/home/wajadoogle/csvWithDateInYYY-MM-DDFormat.csv'

opts = csv.ConvertOptions()
opts.column_types = {'Date': pa.date32()}

table = csv.read_csv(file_path, convert_options=opts)

我收到以下错误。

File "/home/wajadogle/TestPyarrow.py", line 9, in <module>
    table = csv.read_csv(file_path, convert_options=opts)
File "pyarrow/_csv.pyx", line 450, in pyarrow._csv.read_csv
File "pyarrow/error.pxi", line 93, in pyarrow.lib.check_status

pyarrow.lib.ArrowNotImplementedError: CSV conversion to date32[day] is not supported

【问题讨论】：

标签： csv pyarrow

【解决方案1】：

我在 GitHub https://github.com/apache/arrow/issues/5209 上的 pyarrow 问题论坛上发布了相同的问题，并且 apache 网站上已经有一个未解决的问题。

https://issues.apache.org/jira/browse/ARROW-3739

pyarrow 社区正在寻求帮助来实现此功能。

【讨论】：