Python Dask 在同一列中应用函数和存储结果

Question

您好，我对 Dask 有点陌生，我正在尝试做以下事情

我有一个 CSV 文件，我正在读取文件，一切正常

import pandas 
import os
import json

import math
import numpy as np

import dask
from dask.distributed import Client
import dask.dataframe as df
import dask.multiprocessing
client = Client(n_workers=3, threads_per_worker=4, processes=False, memory_limit='2GB')

df = df.read_csv("netflix_titles.csv")

现在我有功能了

def toupper(x):
    return x.upper()

我想将此应用于列现在问题是要将结果保存在同一列中似乎我不能这样做

df["title"].map(toupper).compute()

以下行有效，但我想要

df["title"] = df["title"].map(toupper).compute()

ValueError：并非所有分区都是已知的，无法对齐分区。请使用set_index设置索引。

图片

Answer 1

也许在read_csv之后试试这个。

df.title = df.title.map(toupper)
df.to_csv("netflix_titles.csv", index=False, single_file=True)

to_csv 有一个可选参数，默认值为compute=True，因此您无需显式地执行compute()。