【发布时间】：2015-08-15 15:16:24
【问题描述】：
我有兴趣在用户生成的搜索查询之上训练一个问答系统，但到目前为止，似乎还没有此类数据可用。是否有一些研究中心或行业实验室已经编译了搜索引擎查询的语料库？
【问题讨论】：
标签： nlp search-engine google-search bing
【发布时间】：2015-08-15 15:16:24
【问题描述】：
有几个这样的数据集：
雅虎网络镜：- http://webscope.sandbox.yahoo.com/catalog.php?datatype=l
Yandex 数据集：- https://www.kaggle.com/c/yandex-personalized-web-search-challenge/data Kaggle 问题的一部分。您可以注册并下载。
还有 AOL Query Logs 和 MSN Query Logs 已在过去 10 年中作为共享任务的一部分公开。我不确定它们是否仍然是公开的。但是你可以探索一下。
【讨论】：
-
不太“开放” - Weboscope 需要一封 edu 电子邮件。 Kaggle 通常仅出于比赛目的获得许可
Weboscope/Kaggle 数据集有一些特定的限制。我建议使用 TREC 数据集，例如这个数据集 from 2009
【讨论】：