这个 spark 程序将如何执行？

Question

我遇到了下面的例子：

lines = sc.textFile("some_file.txt") //line_1

lineswithFriday = lines.filter(lambda line: line.startwith("Friday")) //line_2

lineswithFriday.first(); //line_3

它也说

spark 仅扫描文件，直到找到以开头的第一行 friday。它不需要遍历整个文件。

我的问题是：这是否意味着 spark 会在内存中一一加载每一行，看看它是否以 Friday 开头，如果是则停在那里？

假设line_1 基于核心和输入块创建了三个分区。 line_2 将通过每个内核上的单独工作线程进行计算。 在line_3 上，一旦任何工作人员找到以Friday 开头的行，它就会停在那里？

Answer 1

first() 和 take(n) 如果单独使用可以优化。

Spark 中没有关于“进程间通信”的机制允许执行程序提前终止，因为继续处理结果将被认为是多余的。从架构上讲，这会导致各种问题。