Dask - Kubernetes - 教程示例

Question

我刚刚使用Helm在Kubernetes集群上完成了Dask的设置，现在我想在jupyter笔记本上做基本的教程，我遇到了以下错误：

此外，我尝试在另一个笔记本中分析40 GB的数据集，但运行以下命令的速度非常慢（我只是从GCS导入40GB，然后在二进制列上创建value_counts）：

import dask.dataframe as ddf
import gcsfs

fs = gcsfs.GCSFileSystem(project='tme-chrome')

fs.ls('tme-churning')

df = dd.read_csv('gs://tme-churning/*.csv')


df['churning'].value_counts().compute()

非常感谢你的帮助。我似乎在这里遗漏了一些东西。

Answer 1

我试图使用找到here的dask舵图重现这个问题，但是无法做到。这些是我采取的步骤：

1. helm install -n stable-dask stable/dask
2. Go to output Jupyter IP:PORT
3. Run the first few cells in the notebook.

你使用不同的头盔图吗？