我想搭建一个windows服务，使用远程编码服务（如encoding.com、zencoder等）上传视频文件进行编码，编码完成后下载，并进行处理。
为了做到这一点，我正在考虑使用不同的队列，一个用于处理当前等待的文件，一个用于上传文件，一个用于等待编码完成的文件，另一个用于下载它们。每个队列都有一个限制，例如在某个时间只能上传 5 个文件进行编码。队列必须是可见的并且能够从崩溃中恢复 - 目前我们通过将队列写入 SQL 表并管理单独表中的项目数来做到这一点。
我还希望队列在后台运行，彼此独立，但能够随着进程的进行将文件从一个队列传输到另一个队列。
我最大的问号是关于如何构建和管理队列，而不是关于限制每个队列中的项目数量。
我不确定什么是正确的方法，非常感谢任何帮助。
谢谢！
【问题讨论】：
您可能不需要将工作分成单独的队列，只要它们以某种方式在逻辑上分开（用不同的“作业类型”等标记）。
在我看来，挑战在于不要根据作业类型从队列中提取和处理超过给定数量的作业。前段时间我遇到了一个类似的问题，导致了question here on SO，以及随后的blog post with my solution，这两个问题都可能会给你一些想法。
简而言之，我的解决方案是保留一个“令牌”列表。每当我想执行一项有某种限制的工作时，我首先会拿起一个代币。如果没有可用的令牌，我将需要等待一个可用。然后，您可以使用任何适合处理队列的排队机制。
【讨论】：
有多种方法可以解决此问题，这取决于在可靠性和弹性/开发成本/维护成本方面哪一种适合您的情况。您需要回答类似的问题，即如果服务器崩溃了，继续您正在做的事情是否重要？
队列可以在 MSMQ、SQL Server 中实现，也可以简单地在代码中实现，所有队列都在内存中。对于工作流，您可以使用 Windows Workflow Foundation，或者自己实现它，这可能会更容易，但更改会更困难。
所以如果你再给点提示，我应该可以更好地帮助你。
【讨论】：