【发布时间】:2020-06-12 20:23:53
【问题描述】:
我正在尝试执行以下操作:
使用 pandas 读取 .dat 文件,将其转换为 dask 数据帧,将其连接到我从 parquet 文件中读取的另一个 dask 数据帧,然后输出到新的 parquet 文件。我执行以下操作:
import dask.dataframe as dd
import pandas as pd
hist_pth = "\path\to\hist_file"
hist_file = dd.read_parquet(hist_pth)
pth = "\path\to\file"
daily_file = pd.read_csv(pth, sep="|", encoding="latin")
daily_file = daily_file.astype(hist_file.dtypes.to_dict(), errors="ignore")
dask_daily_file = dd.from_pandas(daily_file, npartitions=1)
combined_file = dd.concat([dask_daily_file, hist_file])
output_path = "\path\to\output"
combined_file.to_parquet(output_path)
combined_file.to_parquet(output_path) 总是启动然后停止/或无法正常工作。在 jupyter 笔记本中,当我这样做时,我得到一个内核失败错误。当我在 python 脚本中执行此操作时,脚本完成但未写入整个组合文件(我知道是因为大小 - CSV 为 140MB,parquet 文件约为 1GB - to_parquet 的输出仅为 20MB) .
在某些情况下,这是针对 ETL 流程的,并且每天都在添加大量数据,我很快就会耗尽历史数据集和组合数据集的内存,因此我正在尝试仅从 pandas 迁移流程让 Dask 处理我很快就会拥有的大于内存的数据。当前数据(每日 + 历史数据)仍然适合内存,但几乎没有(我已经使用了分类数据,这些数据存储在 parquet 文件中,然后我将该模式复制到新文件中)。
我还注意到,在dd.concat([dask_daily_file, hist_file]) 之后,即使在简单的任务中,我也无法调用.compute(),而不会像写入镶木地板时那样崩溃。例如,在原始的、预先连接的数据上,我可以调用 hist_file["Value"].div(100).compute() 并获得预期值,但在 combine_file 上使用相同的方法会崩溃。即使只是 combined_file.compute() 将其变成熊猫 df 崩溃。我也尝试过重新分区,但没有成功。
我能够在 pandas 中完成这些精确的操作,没有任何问题。但同样,我很快就会耗尽内存,这就是为什么我要转向 dask。
这是 dask 无法处理的事情吗?如果它可以处理它,我是否正确处理它?具体来说,似乎 concat 正在引起问题。任何帮助表示赞赏!
更新
在玩了更多之后,我最终遇到了以下错误:
AttributeError: 'numpy.ndarray' object has no attribute 'categories'
现有的 GitHub 问题似乎与此有关 - 我询问并等待确认。
作为一种解决方法,我将所有分类列转换为字符串/对象并再次尝试,然后以
结束ArrowTypeError: ("Expected a bytes object, got a 'int' object, 'Conversion failed for column Account with type object')
当我检查该列 df["Account"].dtype 它返回 dtype('O') 所以我认为我已经有了正确的 dtype。此列中的值主要是数字,但也有一些记录只有字母。
有没有办法解决这个问题?
【问题讨论】:
-
我鼓励您尝试创建一个最小的可重现示例:stackoverflow.com/help/minimal-reproducible-example