返回RSS的所有页面

Question

我正在使用 python 从 rss 页面获取 xml。我正在使用漂亮的汤来解析 xml。

例如，输入是在http://stackoverflow.blogspot.com/feeds/posts/default?alt=rss 找到的 rss xml 页面。

我使用了几个与上面链接格式相似的博客，每个博客的 xml 都可以在/feeds/posts/default?alt=rss找到

每个 URL 的数据使用 urllib2 下载并保存在变量 xml 中

然后我的 python 代码使用漂亮的汤来解析 xml

bs = BeautifulSoup(xml)
items = bs.rss.channel.findAll("item")
print len(items) #returns 25 for any site

我相信我只返回第一页。

如何返回所有页面并轻松找到每个 URL 的页面数？

例如：len(pages)=页数

Answer 1

RSS/Atom 分页不是标准……所以每个人的做法都不一样（对于那些这样做的人！），这意味着你在做你想做的事情时会遇到麻烦。

RSS 应该更多地被视为一种“前瞻性”工具：不是获取过去的内容，而是获取未来的内容：如果您开始订阅提要，您将能够从现在开始跟踪事情，并且只要饲料保持不变。