【发布时间】:2018-08-03 20:48:48
【问题描述】:
当我在 intellij 上设置一个 scala 项目时,我会在本地编译并运行它。 我有一行如下
println("Test")
在输出中出现“测试”。我相信这就是工作的Java System.out。如果我错了纠正我。 当我从 intellij 运行相同的 scala 项目 (jar) 文件时,我通过 intellij(用于 intellij 的 Azure 工具包)将它提交到我在 azure 上启动的 spark 集群。我没有看到输出。 我在底部的窗口中没有看到“测试”。
- 我在哪里可以看到输出?
- 如果我看不到输出,我可以将它们写入 blob 存储中某处的文本文件吗?如果有,怎么做?
【问题讨论】:
-
基本上你想知道的是在控制台上看到输出对吗?你可以在 scala 中使用 println() 吗?此外,如果您想查看正在计算的任何数据,您可以在您的代码中放置调试点并在调试位置停止。
-
是的,当我在本地运行 scala 代码时可以看到 println。但不是在天蓝色。在 azure 上的 spark 上提交作业时,开发人员如何获得反馈? (显然 println("test") 是一个非常简单的例子。实际上,我想加载大型数据集并执行聚合数据和获取平均值等操作,然后 println 那些,所以我可以看到我正在使用什么)
-
您可以使用 println() 在控制台上播种输出,您还可以使用一些笔记本(如 zeppelin 或 jupyter)查看输出或写入任何文件系统以查看输出。我也在使用 Azure 集群和 blob 存储。
-
我最初使用的是 zeppelin,但对它感到沮丧。我在 .scala 文件中有类,我希望在 zeppelin 笔记本中引用它们,但不知道该怎么做。所以我走上了“intellij,提交工作路线”
标签: scala azure apache-spark intellij-idea azure-blob-storage