RDD 跳过标头 - Pyspark

Question

我想读取带有标头的 RDD。我在这里发现了类似的问题，但它对我不起作用。 How do I skip a header from CSV files in Spark?

rdd.mapPartitionsWithIndex { (idx, iter) => if (idx == 0) iter.drop(1)

否则迭代}

所以我尝试了

def f(idx, iter): 
    if idx==0:
        iter.drop(1)
    else:
        yield list(iterator)
rdd2 = rdd.mapPartitionsWithIndex(f)

但它说 AttributeError: 'generator' object has no attribute 'drop'

有什么帮助吗？

Answer 1

试试这样的：

def f(idx, iter):
    output=[]
    for sublist in iter:
        output.append(sublist)
    if idx>0:
        return(output)
    else:
        return(output[1:])