Java 多线程问题 - 消费者/生产者模式

Question

已尝试解决此问题，但证明很困难。

我有两个线程，一个是生产者，另一个是消费者。都在不同的班级。两个线程独立运行。生产者正在汇集大约 8-12 个文件夹用于输入。然后它同时翻译所有文件，并将其放置在一个名为“readyToLoad”的共享文件夹中。 生产者线程完成后，消费者线程现在进入“readyToLoad”文件夹并开始处理翻译后的文档。

现在的问题是，当消费者处理翻译文件时，它不允许生产者将更多翻译文件放入“readyToLoad”文件夹。

我的问题是，如何防止消费者锁定“readyToLoad”文件夹？我该如何处理这种情况？

对于冗长的文字表示歉意，但我认为这将有助于了解我遇到问题的地方。感谢大家的帮助。

更新：添加了消费者代码（在加载过程中执行加载并锁定文件的代码）

public class LoadManager {
protected static final Logger logger = KCLogger.getLogger();
 ArrayList<Loader> threads = new ArrayList<Loader>();
 KCBLConfig config;
 private static final ExecutorService service = Executors.newFixedThreadPool(10);
 public LoadManager(KCBLConfig config) {
    this.config = config;
 }

public void start() throws Exception {
    logger.log(Level.INFO, "Starting loading threads.");
    try {
        TreeMap<String, ConnectionHandler> connectionHandlers = config.getConnectionHandlers();
        Iterator i = connectionHandlers.keySet().iterator();
        while (i.hasNext()) {

            ConnectionHandler connectionHandler = connectionHandlers.get((String) i.next());

            for (LoadFolder loadFolder : connectionHandler.getKcXMLFolders()) {
               Loader loader = new Loader(loadFolder.getId(), loadFolder, config.getConnectionHandlers());
               Thread loaderThread = new Thread(loader);
                loaderThread.start();   
               //service.submit(loader);
              // service.shutdown();
               //service.awaitTermination(1, TimeUnit.MILLISECONDS);
                threads.add(loader);
            }
        }
    } catch (Exception e) {
        logger.log(Level.SEVERE, "There was an error starting the loaders. Stopping all loader threads.", e);
        this.stop();
        throw e;
    }
    logger.log(Level.INFO, "All loader threads created. There are " + threads.size() + " loader threads");
}

Answer 1

Java 生产者/消费者习惯用法现在通常使用BlockingDeque。

我会为生产者和消费者设置单独的文件夹。为什么要承担这种复杂性？

Answer 2

您可以在 Java 中使用 Monitor http://en.wikipedia.org/wiki/Monitor_(synchronization) 和 synchronized 方法。

Answer 3

如果我理解正确，您在生产者和消费者之间没有任何通知机制。生产者将文件存储在一个文件夹中，消费者有一个无限循环，它会从该文件夹中读取所有文件并将它们移动到其他位置。

这就是问题所在。这是我将如何解决它。

生产者和消费者都应该共享一个 BlockingQueue 实例。每次生产者完成文件的生产（文件完全写入共享文件夹）时，它会将文件名添加到阻塞队列中。

消费者从队列中获取文件名。这是一个阻塞操作，所以在文件名可用之前消费者会被阻塞。当消费者从队列中得到一个文件名时，它会读取这个文件（并且只读取这个文件），然后用它做任何他想做的事情。

这有几个优点：

• 生产者和消费者同时访问一个文件没有风险
• 您可以拥有任意数量的生产者和消费者
• 消费者不会无休止地扫描目录
• 您可以设置队列的界限以避免产生过多的文件，并让消费者有机会跟上生产者的步伐。