我在 C 中创建了一个线程池。池中的每个线程执行完全相同的功能。几个生产者线程使用相当标准的 mutex/cond 方法将新数据放入该池的队列中。
新数据总是比较大，必须执行的处理量可能需要相当长的时间。每当我看到这样的实现时，工作人员会在复制所需数据或执行请求的任务时锁定队列。在我的情况下，这些操作中的任何一个都可能需要一段时间，在此期间其他线程将被阻止访问队列。
我应该如何宣布某个特定线程已完成一项任务但与该任务相关的数据仍在使用中？在队列中添加某种“正在处理”标志并让工作线程在队列工作时解锁队列是否可行？
【问题讨论】：
标签： c multithreading
修改排队结构，使排队的只是一个指向要处理的数据的指针。
当一个线程需要获取作业时，它会获取互斥体，获取指向要执行的任务的下一个指针，可能会删除指针的队列内副本，或者以其他方式确保其他线程不会处理什么它正在处理，然后释放互斥锁（或发出条件或其他信号）。通过指针访问大块数据；只有一个线程有指针；它在完成后会进行清理，但它在知道没有其他线程在处理相同数据的情况下安全地运行。
因此，您可以通过不在队列中使用大数据块来解决大数据块的问题——您使用小数据块，也就是指向大数据块的指针。
目前我的队列是一个指针队列。但是，我在程序开始时
malloc有限数量的缓冲区。如果我错了，请纠正我，但您的建议是我改为根据需要使用生产者线程malloc内存，并在完成时让工作人员free它？
我并不是建议生产者使用malloc()，消费者使用free()。
我的建议是组织队列，这样就不会出现生产者或消费者需要长时间锁定队列的问题。但是，如果您的队列已经是一个指针队列，我不明白您是如何遇到问题的。
这可能归结为术语——这是造成混乱的主要原因。
我想建议的是，有一个“等待消耗的任务”队列。有时，该队列将是空的；然后消费者线程将等待条件“队列非空”，并且当生产者将任务添加到队列时，将唤醒等待中的消费者之一并接管运行新任务。但消费者的第一步只是将任务从“等待被消费”队列中删除。
队列上的信息必须足以确定需要做什么——这可能只是一个指向“任务描述”的指针，其中包含更多指向要操作的数据存储位置的指针。从队列中删除“任务描述”应该（必须）是一个快速、简单的操作（受互斥锁和条件保护）。给定的任务描述不会被多个线程同时访问它指向的数据不会被其他线程访问（通常）。如果线程之间有数据共享，那么对该共享数据的并发访问必须像往常一样进行协调。
但关键设计点是消费者线程在操作队列时花费最少的时间阻塞其他消费者线程或生产者线程。它获得对队列的访问权，删除队列中的第一项，并释放对队列的访问权。然后它继续处理需要完成的任务——不受生产者或其他消费者的干扰。
同样，生产者线程准备任务描述并确保使用相关的（预分配的）缓冲区等 - 小心处理缓冲区的获取等。但是当任务描述准备好时，生产者花费非常短的时间获取对队列的访问，将任务描述添加到队列，释放对队列的访问，发出“队列非空”条件。
【讨论】：