我是否必须使用 jupyter notebook/lab/hub 在 Kubernetes 集群上运行 Dask？答案

【问题标题】：Do I have to use jupyter notebook/lab/hub for running Dask on a Kubernetes cluster?我是否必须使用 jupyter notebook/lab/hub 在 Kubernetes 集群上运行 Dask？
【发布时间】：2020-03-10 17:31:15
【问题描述】：

我正在测试 dask.distributed 的大数据和机器学习相关的东西。我看过视频、阅读博客页面并尝试了解图书馆文档。但我很困惑。在我找到的每个来源中，总是有 jupyter notebook/lab/hub。我是否必须使用 jupyter notebook/lab/hub 才能在 Kubernetes 集群上运行 Dask？我不能用 2 台笔记本电脑构建一个 Kubernetes 集群并在没有 jupyter 相关的东西的情况下运行 Dask 吗？

为什么？因为我想使用自己的服务器（kubernetes 集群）为用户提供我自己的网页（后台烧瓶）。

【问题讨论】：

标签： python-3.x kubernetes jupyter dask dask-distributed

【解决方案1】：

我在这里看到no jupyter notebooks。 Jupyter notebooks 对数据科学人员来说很方便，但这不是使用工具的要求，您仍然可以将 import dask.distributed 像任何其他 python 包一样放入您的烧瓶应用程序，将其容器化并将其作为服务运送到您的 Kubernetes 集群中。作为开发者，一切都取决于您。

【讨论】：

是的，你是对的，但是here 和在许多其他地方可以看到与 jupyter 相关的东西。这就是为什么我很困惑。我需要确定一下。我已经使用您提供的文档构建了一个由 2 台笔记本电脑组成的集群。但是这个实现有点静态。这就是为什么我一直在寻找没有 jupyter 的 kubernetes 实现。所以，你是说有可能？
我没有看到与jupyter 相关的东西。我看到了某种带有水平自动缩放组的部署，以便您可以提交计算任务。您可以使用 jupyter notebook 作为客户端工作，但您不需要这样做。我建议您遵循教程，直到您获得足够的经验来与来自 IDLe 的 dask 或某些静态文件或 cli 应用程序进行交互。这完全取决于你。

【解决方案2】：

不，你没有。 Jupyter 只是使用 Dask 的最常见设置，而且 JupyterLab 具有很好的扩展，因此您可以在任务图执行时可视化它们。但如果只是在 kubernetes 上编排 dask 工作人员，我会看看 dask-kubernetes。这就是我们在 Saturn Cloud 使用的库，用于为我们的企业客户部署 dask。

在文档中，这些行应该足以让您入门

from dask_kubernetes import KubeCluster

cluster = KubeCluster.from_yaml('worker-spec.yml')
cluster.adapt(minimum=1, maximum=100)  # or dynamically scale based on current

重要的是要了解KubeCluster 通过将PeriodicCallback 附加到异步事件循环来工作。这意味着您肯定要确保它不会被垃圾收集。您可以将cluster 实例直接传递给distributed.client，或者获取调度程序地址并以这种方式进行通信。

【讨论】：