在 VScode 上将 jupyter 笔记本单元作为交互式 SLURM 作业运行

Question

我在安装了 SLURM 以管理作业和提供并行计算的远程服务器上使用 vscode 进行一些分析。我想将 Jupyter notebook 中的每个单元作为 SLURM 上的交互式作业运行，就像我使用 srun 请求计算节点后我的命令行代码将作为交互式 SLURM 作业运行一样。我需要在 Jupyter notebook 上运行的作业需要大量内存，因此我需要使用 SLURM 来运行它们。

我目前的解决方法是在终端上运行 srun 并启动一个 python 终端，然后我将笔记本每个单元格中的代码复制并粘贴到 python 终端中。非常感谢你的帮助。

Answer 1

这是一个老问题，但我最近也遇到了这个问题。

在终端上执行 srun 后，您应该能够 ssh 直接进入 VScode 中的计算节点，并在交互模式/笔记本中使用计算节点的所有功能

例如，我采取的步骤是：

1. 在终端（例如powershell）中，srun进入节点
2. 将该节点添加到您的config 文件中，以便您可以通过 ssh 进入它
3. 打开 vscode 并通过 ssh 进入该节点
4. 在交互式窗口/笔记本中运行代码，可以访问节点的 CPU/GPU