使用 dask.to_csv 写入文件时忽略 KeyError

Question

我有一个数据框，它没有加载到内存中（应该保持这种状态）。
在脚本中的某个时刻，我通过以下方式将使用字典的转换应用于数据框列之一：

df['identifier'] = df.identifier.map(lambda identifier: alias_dict[str(identifier)],
                                                               meta=('identifier', str))

在这个阶段没有发现 KeyError 异常，但是当我使用 to_csv 时，我尝试处理它们

try:
   dd.to_csv(intersection_df, output, header=None, index=None, single_file=True, sep='\t')
except KeyError as err:
   print(f'Unmatched key {err.args[0]}')

如果我遇到 KeyError，则停止写入文件 - 即使我在那个阶段遇到异常，有没有办法让写入继续？

Answer 1

如果您想跳过或修复失败的行但继续编写，最好的做法是将您的 try/except 放入映射函数中

def alias(identifier):
    try:
        return alias_dict[str(identifier)]
    except KeyError:
        return identifier

df['identifier'] = df.identifier.map(alias, meta=('identifier', str))

在这种情况下，失败会原封不动地通过。您可以将它们变为 None 并在第二步中将它们过滤掉，或者这两个步骤可以与 map_partitions 结合使用。