在开发 Spark 应用程序时使用多种语言 [关闭]

Question

我正在和另一个人一起做一个项目。我的项目部分涉及使用 Spark 的机器学习进行分析，而我的队友正在使用 Spark Streaming 将数据从源传输到程序并输出到接口。

我打算使用 Scala，因为它对 Spark 的支持最好。但是，我的队友对 Scala 没有任何经验，可能更喜欢使用 Python。

鉴于我们的程序部分正在做两件不同的事情，让他的 Python 脚本调用我的 Scala 可执行文件对我们来说是个好主意吗？或者以后使用不同的语言会导致复杂性？

Answer 1

经验丰富的开发人员将能够学习一门新语言并很快提高工作效率。

我只会考虑同时使用这两种语言，如果：

1. 截止日期太紧，开发人员无法跟上进度，
2. 模块之间的集成非常有限（您确信不会改变）并且
3. 有明确的部署策略。

我建议先进行小规模测试，以确认您的部署和集成计划是否可行。

Answer 2

我是 Python 迷。 当我开始使用 Spark 时，我对继续使用 Python 或切换到 Scala 或 Java 有点困惑。

但是在尝试了 Python 开发一些基本的应用程序之后，我开始感到无聊，因为我们使用的 Python 不再是普通的 Python，难以调试可能会导致隐形问题。

所以我改用 Scala。这是为什么：

1. 这比您想象的要容易。
2. 您可以学习 Spark 代码库并了解 Spark 的工作原理。
3. 它很棒，比带有 lambda 函数的 Java 好得多。
4. 观看此videos