如何节省时间进行网格搜索和k倍交叉验证以进行超参数调整？

Question

我计划使用k倍交叉验证（CV）进行网格搜索，以优化LSTM的超参数。假设我有n个超参数组合，并且定义了k倍CV。这意味着我必须运行LSTM n x k次，这可能需要大量计算。

Q1。有没有可以节省时间的实用技巧？

[为节省时间，如果1）我将整个训练数据分为test vs val（例如80:20），无k倍，并找到最佳超参数；在这种情况下，运行[[n x 1，2）仅使用从1）中找到的光学超参数对LSTM执行k倍CV，以证明所选LSTM的整体性能？有道理吗？

Answer 1

对于大型模型，CV确实不可行。因此，您应该以火车验证测试的方式拆分数据。

网格搜索也不是最好的方法，最好使用随机搜索，原因为何，请参见例如here。