IntelliJ 中的 scala spark 笔记本

Question

我用andypetrella/spark-notebook，很棒：

docker run -p 9001:9001 andypetrella/spark-notebook:0.7.0-scala-2.11.8-spark-2.1.0-hadoop-2.7.3

但是，我想在 InteliJ 内部使用这样的笔记本来使用完成和调试。如何做到这一点？

我看到 IntelliJ 你可以拥有 New -> jupyter，但我认为它只是 python。或者它适用于 scala 和 spark？

我还看到 IntelliJ 有一个 Scala 工作表。使用experimental REPL，IntelliJ 会逐步评估添加的新行，但如果您更改文件中间的一行，它会从头开始评估所有文件。因此，与 jupyter notebook 相比，不是很方便。

我看到有关在 IntelliJ 中运行 scala spark notebook 的其他问题，例如这个，但他们没有在这里回答问题。 How to run Spark scala application inside Intellij

问题是如何从 IntelliJ 内部获得 andypetrella/spark-notebook 的等价物（因此，只评估更改的行）？

Answer 1

至于 Intellij 中的 spark notebook 恐怕你不走运。 如果您想在 Intellij 中使用 Spark 的任何笔记本，那么您可以测试 Apache Zeppelin 笔记本。该插件有效，但已过时。

docker run --rm -p 8080:8080 dylanmei/zeppelin

• 在 Intellij Plugins->Browse repositories-> 搜索 IntelliJ Zeppelin
• 创建一个空的 scala 类并在其中输入“NotebookName”
• 点击 ctrl+shift+alt+enter (shift+option+cmd+enter)（查看工具-> intellij 菜单中的 Zeppelin 以获取快捷方式）- 这应该会给您一个窗口询问 zepellin 的地址
• 键入段落的代码
• shift+alt+enter (shift+option+enter) 添加段落。这应该会给你段落的结果
• 导航到http://localhost:8080（或您给它的任何端口）并查找“NotebookName”（如果您不给它一个名称，它将生成为“IntelliJ Notebook”）

插件github上有这个demo：https://github.com/chilang/intellij-zeppelin

如果您尝试将此插件与 spark-notebook 一起使用，则会产生严重错误。