引言
Hang Li 等发在2014年arxiv上的文章，原文地址：https://arxiv.org/pdf/1408.6988.pdf
基于新浪微博的数据集做的短文本单轮QA，从论文名可以看到，这是基于检索的方式做的，作者称之为short text conversation (STC)。大概流程是先做Retrieval召回candidate pairs，之后对待定数据做人工标注，再对candidate pairs进行特征提取，最终用LTR的方式进行排序。
数据集
数据集是从新浪微博爬取的微博及其下的评论构成(p, r)这样的pairs，选区的是一些中国搞NLP的高级知识分子的微博，相对来说posts的质量较高。
Sampling Strategy
确定10个在sina微博上活跃的NLP大牛，然后爬他们的followee，得到3200多个NLPer/MLer作为种子。
之后基于上述种子爬了两个月，抓取他们的微博及相关评论。统计出来数据的topic主要为：Research、General Arts and Science、IT Technology、Life等
Processing, Filtering, and Data Cleaning
接下来对数据进行清洗，主要有以下几个策略：
1、去除post小于10个字符，及response小于5个字符的，还有一些万金油式的" Wow"或者“Nice”之类的语句。
2、只保留每个post前100个response，因为在时序上，前面的response会和post联系更紧密些。
3、去除一些可能是广告的response。
4、去除标点符号和表情，同时分词。
Labeled Post-Comment Pairs
对上述的pairs，用三个基础的检索模型进行召回，每个召回10条，所以总共有<=30个pairs，之后对这个candidate pairs进行人工标注，策略如下：
1、Semantic Relevance
在语义上，post和response必须是相关的，如：
2、Logic Consistency
在逻辑上，必须无误的，比如：
3、Speech Act Agreement
同时，response和post主题之间的切合度也很重要，如：
根据上述3种策略，对pairs进行标注，最终得到的数据集如下：
需要注意的是，label pairs里面是不包含原本的response的，因为时靠检索寻找到的待定pairs。
模型
上面说道，整体模型分为三个部分，Retrieval，Match，Rank如下：
Retrieval
检索部分即使上面构造candidate pairs的方法，作者用了以下方式：
Query-Response Similarity
Query和Response之间的consine相似度，如下：
Query-Post Similarity
Query和Post之间的consine相似度，如下：
Query-Response Matching in Latent Space
将Query和Response的表示降维，再计算相似度，作者提到这样的方法能够得到更多的语义信息：
Match
召回待定的pairs后，再根据多种方式抽取其特征，其中前三种为上述Retrieval得到的相似度
Translation-based Language Model
为了解决lexical gap，即是两个句子之间相似的词很少但是语义比较接近的情况，提出的基于翻译模型的特征，
具体的推导及训练方式在原论文中有详细描述。
Deep Matching Model
上面提到的方法都是线性模型，这里提出了Deep Match Model用来提取非线性特征：
Topic-Word Model
Topic-Word Model提到了，可能句子之间相似的词很少，但是在有先验知识的情况下，是更加符合post的response，如：
所以这里提出了Topic-Word Model用来获取主题相关的信息。
Other Simple Matching Features
除上面之外，还有Longest Common String (LCS)、Co-occurrence features等简单的特征。
Rank
根据上面得到的特征，使用Rank SVM进行排序，得到最后的结果。
实验
作者依据上述方式，进行实验，评价指标为Mean Average Precision (MAP)和[email protected] ([email protected])。
Results of Basic Linear Matching Models
Results of Combining all the Features
除此之外，还有一些其他case study及分析等，这里就不列举了。
结论
提出了一套完整的基于retrieval的QA的结构，后续很多工作都基于这个结构展开，同时数据处理的流程也很值得学习。
引用
1、An Information Retrieval Approach to Short Text Conversation