如何通过导入创建自定义Dask工作者

Question

我正在设置Dask，并且可以将dask用于多处理。

但是，当我想使用预先配置的Dask工作程序时，遇到了问题。它们的导入与我的主要流程不同。

我在想。如何将自定义导入项添加到轻快的工作人员中，以便所有访问这些工作人员的期货都可以有效运行。

Answer 1

理想情况下，Dask工作者应该都具有相同的软件环境。通常，在Dask之外使用Docker映像或网络文件系统（NFS）可以保证这一点。还有其他一些解决方案，例如Client.upload_file，这对于小型脚本很有用。