Apache Spark 的 perl API？

Question

我是一名长期的 perl 开发人员，有人告诉我“去学习 Apache Spark”。 所以我的计划是，1）弄清楚 Apache spark 是什么，2）弄清楚如何 用 perl 和它对话。我们在此过程中处于早期阶段......

我看到很多网页，比如 https://www.kdnuggets.com/2018/05/apache-spark-python-scala.html 说“虽然 Spark 有适用于 Scala、Python、Java 的 API 和 R，但常用的语言是前两种。”

我在任何地方都没有找到任何关于 Spark 的 perl API 的信息——搜索 CPAN 出现了 一些名称中带有“Spark”的东西，但实际上没有任何相关性。 这很令人困惑……Spark 最流行的 API 之一怎么可能是 面向 Python，但对于 perl 却一无所有？

我无法接受“您只能通过 Python 与 Spark 对话， 不是 perl”，但这就是我目前所处的位置。所以我的问题是，perl 怎么样 与 Apache Spark 的社区接口，以及该设施与 Apache Spark 相比如何 Python 工具，在功能完整性方面？

Answer 1

看来在 CPAN 或其他方面确实没有 Perl API。我观察到其他人在做的是从 Scala 调用 Perl 脚本：https://wiki.ufal.ms.mff.cuni.cz/spark:recipes:using-perl-via-pipes

https://spark.apache.org/docs/latest/rdd-programming-guide.html 的文档说关于管道：

通过 shell 命令对 RDD 的每个分区进行管道传输，例如Perl 或 bash 脚本。 RDD 元素被写入进程的标准输入，输出到标准输出的行作为字符串的 RDD 返回。

需要注意的是python是通过java gateway支持的。

可以使用诸如Java 之类的发行版在 Perl 中完成等效操作。