我只是想进一步了解 Spark。所以想问这个问题。
我的本地计算机上当前安装了 Spark。它是 16GB 的马赫数。
我已经连接了一个运行 Pyspark 的 Jupyter 笔记本。
所以现在当我在该笔记本中进行任何编码时，例如读取数据并将数据转换为 Spark DataFrame，我想检查一下：
1)。所有数据集都分布在本地机器上。就像它使用不同的 CPU 内核等分配数据集一样吗？有没有办法找出来？
2)。仅使用没有 spark 的 Jupyter notebook 运行代码和计算与使用 Pyspark 运行 Jupyter notebook 不同吗？就像第一个只使用机器的一个内核并使用一个线程运行，而带有 Pyspark 的 Jupyter 笔记本在具有多线程/处理的 CPU 的不同内核上运行代码和计算？这种理解正确吗？
有没有办法检查这些。
谢谢
【问题讨论】：
标签： python apache-spark ipython
Jupyter 主要有 Jupyter Notebook、Jupyter Clients 和 Kernels 三部分。 http://jupyter.readthedocs.io/en/latest/architecture/how_jupyter_ipython_work.html
这是 Jupyter 主页上关于内核的简短说明。
内核是在特定环境中运行交互式代码的进程 编程语言并将输出返回给用户。内核也 响应选项卡完成和自省请求。
Jupyter 的工作是在内核（如 python 内核、spark 内核 ..）和 Web 界面（您的笔记本）之间进行通信。因此，在幕后 spark 正在为您运行驱动程序和执行程序，Jupyter 有助于与 spark 驱动程序进行通信。
1)。所有数据集都分布在本地机器上。喜欢 它使用不同的 CPU 内核等分配数据集？在那儿 有办法找出来吗？
Spark 将生成 n 个执行器（负责执行任务的进程），使用 --num-executors 指定，执行器由 spark 驱动程序（负责在 Spark 引擎上运行作业的程序/进程）管理。所以当你运行一个spark程序时指定了executor的数量，你会发现这个kernel conf目录。
2)。仅使用 Jupyter notebook 运行代码和计算 没有 spark 与使用 Pyspark 运行 Jupyter notebook 不同吗？ 像第一个一样，只使用机器的一个核心并使用 一个线程，而带有 Pyspark 的 Jupyter notebook 运行代码和 使用多线程/处理在 CPU 的不同内核上进行计算？ 这种理解正确吗？
是的，正如我所解释的，Jupyter 只是一个让您运行代码的界面。在底层，Jupyter 连接到内核，无论是普通的 Python 还是 Apache Spark。
Spark 有自己的良好 UI 来监控作业，默认情况下它在端口 4040 上的 spark 主服务器上运行。在您的情况下，它可以在 http://localhost:4040 上使用
【讨论】：