如何将pyspark中的collect函数替换为lambda和map

Question

我有一个生成内部维基百科链接图的函数。 在代码中，我在 pyspark 中使用了 collect 函数，但是当我在 GCP 中使用相同的代码时它不起作用。 有人告诉我将代码中使用的 collect 函数更改为 lambda 和 map 表达式。

Answer 1

pyspark 中的

.map 的工作方式类似于常规地图，即

list_of_vertices = pages.map(lambda it:it.anchor_text.id)

和

list_of_edges = pages.map(lambda it: Row(src=it.id, dst=it.anchor_text.id))