google-groups RSS 提要的描述被截断

Question

我正在尝试分析我正在运行的 google 群组论坛的情绪。为了获取论坛内容，我知道了两种方法： 1. 使用 selenium 从 google-groups 抓取网页，但这种方法不可靠，而且 google 经常更改类名。 2. 使用 RSS 提要。

第二种方法似乎是一个不错的选择，但问题是 RSS 提要描述被截断了。有没有办法在不截断的情况下获得完整的描述？或者有没有其他方法可以获取公共 google 组的内容？

Answer 1

对于那些面临类似问题的人 - 抓取 google 组内容，我遇到了一个名为 gg_scraper0.10.0 的 python pkg，由“Matěj Cepl”编写，它将 google 组内容下载到 MBOX 文件中。后来我将这些 MBOX 文件转换成 JSON 格式的文件供我使用。