我必须使用jupyter notebook / lab / hub在Kubernetes集群上运行Dask吗？

Question

我正在测试dask.distributed，用于大数据和机器学习相关的事物。我看过视频，阅读博客页面，并试图了解图书馆的文档。但是我很困惑。我发现的每个来源中始终都有jupyter notebook / lab / hub。我是否必须使用jupyter notebook / lab / hub才能在Kubernetes集群上运行Dask？我不能用两台笔记本电脑构建一个Kubernetes集群并在没有Jupyter相关内容的情况下运行Dask吗？

为什么？因为我想使用自己的服务器（kubernetes集群）为用户提供我自己的网页（背景中的烧瓶）。

Answer 1

不，你不知道。 Jupyter只是使用Dask的最常见设置，JupyterLab具有不错的扩展，因此您可以在任务图执行时对其进行可视化显示。但是，仅仅为了在kubernetes上安排敏捷的工作人员，我来看看dask-kubernetes。这就是我们在Saturn Cloud使用的库，用于为企业客户部署dask。

在文档中，这些行应该足以帮助您入门

from dask_kubernetes import KubeCluster

cluster = KubeCluster.from_yaml('worker-spec.yml')
cluster.adapt(minimum=1, maximum=100)  # or dynamically scale based on current 

重要的是要理解KubeCluster通过将PeriodicCallback附加到asyncio事件循环来工作。这意味着您肯定要确保它不会收集垃圾。您可以将cluster实例直接传递到distributed.client中，或者获取调度程序地址并以这种方式进行通信。

Answer 2

我在这里看到no jupyter notebooks。 Jupyter笔记本对数据科学人员来说很方便，但是并不需要使用工具，您仍然可以像其他任何Python包一样将import dask.distributed插入flask应用程序，对其进行容器化并将其作为服务运送到Kubernetes集群中。作为开发人员，一切由您决定。