如何在 Wrangler 中使用自定义转换？答案

【问题标题】：How to use Custom Transform in Wrangler?如何在 Wrangler 中使用自定义转换？
【发布时间】：2019-09-15 20:26:48
【问题描述】：

我正在尝试使用 Wrangler Plugin 中的列使用自定义转换。

是否有任何文档可以找到应用自定义转换的函数列表？同样对于特定情况，我想根据 IF-ELSE 条件（或多个情况）替换列的值。有什么办法吗？

【问题讨论】：

对于这样的自定义案例，最好使用Dynamic Spark 插件来执行用户提供的用 scala 编写的 spark 代码。它可用于转换 RDD，并具有对所有 Spark 功能的完全访问权限。

【解决方案1】：

自定义转换支持 JEXL，因此您可以在此处找到要应用的函数列表：JEXL syntax。有关如何执行 if-else 的信息，请参阅该页面的 Conditional 部分。

【讨论】：

【解决方案2】：

您可以在自定义转换中使用任何 Wrangler 指令。该插件的GitHub 页面有一个包含示例的综合列表。正如 Ali Anwar 所提到的，指令支持 JEXL 语法。例如，请查看set-column 指令。

【讨论】：