如何指定在 pyarrow.dataset 中加载哪些列

Question

我试图只获取我想要的列，就像我们在 pandas 中所做的那样。

use_cols = ["ArrDelay", "DepDelay"]
df = pd.read_csv(path, usecols=use_cols)
df

有没有类似箭头的选项？

dataset = ds.dataset(path, format="csv")

Answer 1

我猜你想要的是……

table = dataset.to_table(columns=["ArrDelay", "DepDelay"])

数据集方法scan()、to_batches() 和to_tables() 都采用相同的参数，这些参数记录在scan() 方法中。