Vowpal Wabbit：对 Contextual Bandits 的动作集大小有限制？

Question

对于 Vowpal Wabbit 的上下文强盗框架，动作的数量有多大限制？我假设目前不支持无限大小的动作集（例如 Rn 中的 l2 球）的问题。但是对于有限的一组动作有多大限制？还是仅受运行库的硬件限制？

我能想到的潜在问题/担忧是浮点错误（例如，用于预测一组动作的 PMF）、缓慢的预测/更新，以及特定的探索政策/政策评估方法不能很好地配合一个大的行动空间。

编辑：我正在考虑的操作数在 1000-100,000 范围内

Answer 1

我假设目前不支持无限大小的操作集的问题

正确，目前不支持。

但是对于有限的一组动作有多大限制？还是仅受运行库的硬件限制？

我认为动作集大小没有具体/人为的限制，因此硬件可能是限制。在内部，操作 ID 是一个 32 位数字，因此2^32 肯定有一个限制。至于其他问题，如果您遇到类似问题，请随时提出问题，我们可以与您一起解决问题。这绝对是应该解决的问题。