我正准备用 lucence 和 hadoop 制作分布式搜索模块，但对某些东西感到困惑：
众所周知，hdfs是一个分布式文件系统，当我把一个文件放到hdfs上时，文件会被分成几个块存储在claster的不同从机中，但是如果我使用lucene来写hdfs上的索引，我想看看每台机器上的索引，如何实现？
我已经阅读了一些 hadoop/contrib/index 和一些 katta，但不理解“分片，看起来像索引的一部分”的概念，它存储在一台计算机的本地磁盘上还是集群中只有一个方向分布？
感谢提前
【问题讨论】：
-至于你的问题1：
您可以实现 Lucene“目录”接口以使其与 hadoop 一起使用，并让 hadoop 处理您提交给它的文件。您还可以提供自己的“IndexWriter”和“IndexReader”实现，并使用您的 hadoop 客户端来编写和读取索引。这样，您可以更好地控制要编写的索引的格式。您可以通过 lucene/hadoop 实现“查看”或访问每台机器上的索引。
-对于你的问题 2：
分片是索引的子集。当您运行查询时，所有分片都会同时处理，并且所有分片上的索引搜索结果都会合并。在集群的每台机器上，您都将拥有索引的一部分：一个分片。因此，索引的一部分将存储在本地机器上，但在您看来，它就像一个分布在集群中的单个文件。
我还可以建议您查看分布式搜索 SolrCloud 或 here 它作为索引/搜索引擎在 Lucene 上运行，并且已经使您能够拥有聚集索引。它还提供了一个 API，用于将文件提交到索引和查询索引。也许这对您的用例来说已经足够了。
【讨论】：