如何在matlab中使用并行计算进行自定义优化功能？

Question

目前我正在尝试训练以下配置的神经网络 输入层大小 -> 307200 隐藏层大小 -> 50 输出层大小 -> 10

我使用 coursera 'fmincg' 提供的优化功能来训练网络。由于网络规模很大，因此需要很长时间。所以我尝试在matlab中使用并行计算工具箱来解决这个问题。 Matlab 有一个使用并行计算优化函数的文档，由 matlab 提供。

但我不知道如何将并行计算用于用户定义函数的自定义优化函数。

如果有人能对此有所了解，我将不胜感激。

Answer 1

这是一项艰巨的任务。您将不得不重新编写优化求解器本身。在更粗略的级别上进行并行化会容易得多。例如，您可能会反复训练网络以尝试不同的初始化条件、超参数值等。在这种情况下，通过同时使用不同的值训练多个网络很容易实现并行化。还有许多其他加速训练的方法值得研究，包括改变初始化/优化/计算事物的方式。