使用GOOGLE COLAB TPU在IMAGENET上训练VGG-16模型需要多长时间？

Question

我很好奇，使用GOOGLE COLAB TPU在IMAGENET上训练VGG16模型需要多长时间？如果有人能给我解释一下他们是如何计算出这个答案的，那就太好了!

Answer 1

要准确估计训练一个模型e2e需要多长时间是非常困难的。但假设你只是想找一个非常粗略的估计，我们可以先注意到我们的这个ResNet50实现(编码)在v2-8 TPU设备上运行到收敛(76%+90个epochs训练的top1精度)大约需要7.3小时。鉴于VGG16在步长上足够接近(https:/github.comjcjohnsoncnn-benchmarks#cnn-benchmarks。)我希望它的收敛性也与此成正比。然而，声明这只是一个非常粗略的估计，实际的性能也将取决于如何优化的实现。