在 pyspark 中使用“when”时出现位置参数错误

Question

import pyspark.sql.functions as f
df_categories4 = df_categories3.select("alias", "title", 
f.when(df_categories.parents == 0).otherwise(df_categories3.parents[0])).show()

它显示 when() 缺少 1 个必需的位置参数：'value' 的错误。但是如果我在 '0' 之后放置一个值，则表示存在无法解决的错误。

我将如何解决这个问题？

谢谢。

原始错误：

TypeError: when() missing 1 required positional argument: 'value'

输入 0 后的值后出错：

AnalysisException: "cannot resolve '(`parents` = 0)' due to data type mismatch: 
differing types in '(`parents` = 0)' (array<string> and int).;;\n'Project 
[alias#226, title#230, CASE WHEN (parents#229 = 0) THEN 1 ELSE parents#229[0] 
END AS CASE WHEN (parents = 0) THEN 1 ELSE parents[0] END#1079]\n+- 
AnalysisBarrier\n      +- Filter ((array_contains(country_whitelist#228, US) || 
array_contains(country_whitelist#228, CA)) || isnull(country_whitelist#228))\n         
+- Filter (NOT (array_contains(country_blacklist#227, US) && 
array_contains(country_blacklist#227, CA)) || isnull(country_blacklist#227))\n            
+- 

关系[alias#226,country_blacklist#227,country_whitelist#228,parents#229,title#230] json\n"

Answer 1

我认为您的错误可能取决于parents 列的结构。

当我运行以下代码时，它运行良好：

test_df = spark.createDataFrame([("a","b",1),("c","d",0)], ("alias","value","number"))
test_df.select("alias","value",when(test_df.number==0,"0").otherwise(test_df.number)).show()

结果：

+-----+-----+---------------------------------------------+ 
|alias|value|CASE WHEN (number = 0) THEN 0 ELSE number END|    
+-----+-----+---------------------------------------------+
|  a  |  b  |   1                                         | 
|  c  |  d  |   0                                         | 
+-----+-----+---------------------------------------------+

注意：我从数字中删除了[0]，因为您只能在此处直接访问一个元素，如果它是一个数组，那么使用== 0 进行测试就没有意义了。所以我认为你这里有一个错误，因为你测试parents==0，这表明父母是一个数值，然后你访问parents[0]，这对数值不起作用。所以你得到一个“不匹配的类型错误”

如果你想处理相应列中的数组，你应该使用类似的东西：

test_df = spark.createDataFrame([("a","b",[1,]),("c","d",[0,])], ("alias","value","number"))
test_df.select("alias","value",when(array_contains(test_df.number,0),"0").otherwise(test_df.number)).show()