pyspark - “col”函数的真正用途是什么

Question

我还没有找到“col”函数的真正用途，到目前为止，我看到使用 col 或不使用 col 函数的影响相同。有人可以详细说明一个只能用“col”函数完成的用例吗？

两者都返回相同的结果。那么，“col”函数的真正需要是什么。我从文档中了解到，它会重新运行 col 类型。

employeesDF. \
    select(upper("first_name"), upper("last_name")). \
    show()

employeesDF. \
    select(upper(col("first_name")), upper(col("last_name"))). \
    show()

Answer 1

在某些情况下，函数将列 names 又名字符串作为输入或列类型，例如您在上面的选择中。选择总是会返回列的数据框，因此支持这两种输入类型是有意义的。但是，仅使用列名进行选择更为常见。

在许多情况下，虽然 (String) columnName 和 col(string) 之间存在很大差异，但您必须明确。例如说你有类似的东西

when(col("my_col").isNull()).otherwise("other_col")

在该表达式中，当“my_col”为空时，您将返回文字字符串“other_col”，而不是来自“other_col”的值。