使用 MapReduce 进行联邦学习

Question

我想用 PyTorch 构建一个联邦学习系统。我目前已经制定并编写了以下代码：

1. 在客户端设备上微调模型
2. 将微调后的模型发送回主服务器，主服务器将它们保存到存储桶中
3. 平均微调模型（添加所有权重并除以模型数量）

我想用 MapReduce 并行化平均步骤。在我看来，map步骤可以将所有权重除以模型总数，reduce步骤可以将所有得到的权重相加得到一个平均模型。

我想使用 PySpark 执行此操作，但是我无法弄清楚如何在 Spark 脚本中使用 PyTorch 加载模型文件（通常保存为 Pickle 文件）。我正在考虑将模型位置作为具有相同键的值传递。我在网上找到的所有 Spark 示例都只适用于文本文件，所以我很感激对此提供一些帮助。