机器学习中超参数和启发式的区别？

Question

在机器学习的上下文中，超参数和启发式有什么区别。如果您不学习参数而是提前决定它，那本质上不是一种启发式方法吗？

如果任何人都可以提供一个清晰的定义和比较，那就太好了！在这种情况下，我希望我不会将苹果与橙子进行比较。

Answer 1

有趣的想法！启发式和超参数之间最明显的区别是启发式是一种有助于搜索问题的函数，它用于快速权衡不同的解决方案，而超参数本质上是模型中的“硬编码”，因此无济于事搜索。

但是，如果你定义一个只返回常量超参数的启发式函数，那么我们真的可以说这个启发式函数确实和超参数一样。不过我们通常不会这样看，因为这样的启发式函数（总是返回一个常数）无助于搜索最优参数。