我想在Jupyternotebook上看到一个进度条,当我使用Dask运行计算任务时,我正在从一个大的csv文件+ 4GB计算“id”列的所有值,所以任何想法?
import dask.dataframe as dd
df = dd.read_csv('data/train.csv')
df.id.count().compute()
如果您正在使用单机调度程序,请执行以下操作:
from dask.diagnostics import ProgressBar
ProgressBar().register()
http://dask.pydata.org/en/latest/diagnostics-local.html
如果您使用的是分布式调度程序,请执行以下操作:
from dask.distributed import progress
result = df.id.count.persist()
progress(result)
或者只使用仪表板
http://dask.pydata.org/en/latest/diagnostics-distributed.html