Dask中掩码函数的正则表达式

Question

我一直在 pandas 中使用以下正则表达式将某些字符替换为另一个字符：

df = df.replace(r'\t|\r|\n', '', regex=True)

但正如here 所提到的，我们有mask 在dask。但是我在这个函数中找不到如何使用正则表达式。任何帮助表示赞赏。

Answer 1

处理诸如此类的逐行操作的最常见方法是使用map_partitions，它允许您处理 dask-dataframe 的每个块，每个块都是真正的 pandas 数据帧。

在这个例子中

df2 = df.map_partitions(lambda d: d.replace(r'\t|\r|\n', '', regex=True))

df 是一个 dask 数据帧。请注意，与 map_partitions 一起使用的函数需要一个 pandas 数据帧并返回一个 pandas 数据帧。