在 PySpark 中将字符串常量添加为列时未解析的引用点亮答案

【问题标题】：Unresolved reference lit when adding a string constant as a column in PySpark在 PySpark 中将字符串常量添加为列时未解析的引用点亮
【发布时间】：2023-03-03 23:43:01
【问题描述】：

我正在尝试将字符串常量添加为 pyspark 中的新列。我正在使用 2.4.4 版本的火花。我正在使用这个

data.withColumn("currentdate", lit(constant_name))

我收到错误“未解析的引用已点亮”。似乎 2.4.4 中没有因错误而点亮的功能，但当我看到文档时，它就在那里。

【问题讨论】：

你导入spark函数了吗？
是的，我已经使用这个“ from pyspark.sql.functions import *”导入了spark函数
试试这个 - from pyspark.sql.functions import F & use F.lit(constant_name)
我想你想说试试这个，“import pyspark.sql.functions as F”，它对我有用，谢谢
是的，对错字很抱歉.. :)

标签： apache-spark pyspark apache-spark-sql pyspark-dataframes

【解决方案1】：

您需要安装 pyspark-stubs 包，以便您的 IDE 解析对许多 Spark SQL 函数的引用，包括 lit 即

pip install pyspark-stubs==2.4.0.post8

【讨论】：

问题已解决，使用 import pyspark.sql.functions as F