【发布时间】:2016-02-10 12:13:59
【问题描述】:
我正在做一个 twitter 爬虫,并在其上使用 Lucene 构建了一个搜索引擎。由于许多用户提交了不存在的位置(例如“在我的厨房”、“仙境”、“从洛杉矶到巴黎”......),我认为我应该根据他们的位置检查要索引的用户,以便通过位置搜索使它们更容易到达。我通过采样英文推文(使用 TwitterStream.sample("en"))来检索用户。
我的第一个想法是从世界上所有城市的一些网站下载并检查是否有匹配项。然而,这种方法存在一个问题:很难找到包含世界上所有城市的文档,其中所有城市都以所有可能的语言拼写。事实上,用户可以用英语或他自己的语言提交他的城市(或国家)的名称。
【问题讨论】:
标签: java twitter lucene geolocation information-retrieval