项目中需要实现一个udf完成一个数据转换的功能,网上的例子都是比较简单的那种,比如字符串变换或者字符串长度统计这种简单功能。

我这个稍微复杂一些,需要传入数据字典,字段要和数据字典中的字段进行比对,然后返回数据字典中的一个结果字段。

这个很简单的功能花费了我不少的时间,主要是sparksql 的udf 传入list这种复杂的数据的时候,解释会报错。

这导致我废了很长时间来解决这个问题。后来发现其实很简单。代码如下。

SparkSQL UDF 实现数据转换功能



结果

SparkSQL UDF 实现数据转换功能

相关文章:

  • 2021-11-12
  • 2021-10-26
  • 2021-10-31
  • 2021-08-28
  • 2021-08-01
  • 2021-08-31
  • 2021-06-11
  • 2021-11-08
猜你喜欢
  • 2021-07-06
  • 2022-12-23
  • 2021-12-02
  • 2022-02-06
  • 2022-12-23
  • 2022-12-23
  • 2022-12-23
相关资源
相似解决方案