如何使用 pyspark 在数据块中循环数据框列

Question

我想使用在 databricks 中运行的 pyspark 对数据框列应用词形还原。请参阅图像以了解错误。

Answer 1

在函数旁边导入函数 lemmatize_sentence()，然后创建应该可以工作的 UDF。 您收到此错误是因为导入是在驱动程序节点上而不是在整个集群上。 当您在函数中导入它时，在这种情况下，在创建 UDF 时，它会将函数的副本发送到集群中的所有节点。