Web网页的内容相似度

计算两个Web网页的内容相似度

具体要求

1、输入两个url，抓取两个网页的HTML源码；
2、从抓取到的HTML源码中解析出文章内容；
3、以字为单位，计算每篇文章对应的TF向量；
4、用TF向量计算两篇文章的余弦相似度。

具体流程

1、获取源码，并解析文章内容

2、分词，去除停用词

3、计算TF向量

4、用TF向量计算余弦相似度