我正在尝试实现 Kafka - Spark 环境。我正在尝试调试我的 MapReduce 逻辑（用 Java 实现）。 Spark 提交步骤使在我的算法中使用断点进行调试变得复杂。传入的实时数据模式很复杂。模拟复杂的算法将是非常耗时的过程。更好的开发环境将帮助开发者根据实时流数据验证他们的 map reduce 逻辑。
请提出任何提示和技巧。是否可以有 IDE 断点，或者使用 Apache-Spark 进行远程调试。
【问题讨论】：
标签： apache-spark bigdata apache-kafka
我认为开发流式或批处理 Spark 应用程序并不重要。您始终可以使用 intellij idea 对您的应用程序进行图形调试。
还请观看此视频：https://www.youtube.com/watch?v=kkOG_aJ9KjQ。最后，如果您想根据数据模式调试应用程序的反应性，我建议使用 Spark 的内部工具来查看例如 DAG 是如何创建或如何分发的。
我自己正在做的一件事是使用 spark 调试工具，并根据我的应用程序执行图构建一个日志，其中包含我从分析器（通常的操作系统工具，如 iotop 或 iostat）获得的附加信息，以查找例如我在哪里我没有充分利用资源。
最终，您需要将这些信息结合在一起才能做出决定，具有讽刺意味的是，它本身可能成为数据密集型应用程序。
【讨论】：