【问题标题】:Python 3.7, Feedparser module cannot parse BBC weather feedPython 3.7,Feedparser 模块无法解析 BBC 天气提要
【发布时间】:2019-09-07 01:29:26
【问题描述】:

当我解析 BBC 天气提供的示例 rss 链接时,它只给出一个空提要,示例链接是:“https://weather-broker-cdn.api.bbci.co.uk/en/forecast/rss/3day/2643123

我尝试在 python 中使用 feedparser 模块,我想在 python 或 c++ 中执行此操作,但 python 似乎更容易。我也尝试过在不使用 https:// 和使用 .xml 的情况下重写 URL,但仍然无法正常工作。

import feedparser
d = feedparser.parse('https://weather-broker-cdn.api.bbci.co.uk/en/forecast/rss/3day/2643123')
print(d)

应该给出类似于链接上的 RSS 提要的结果,但它只是得到一个空提要

【问题讨论】:

  • 在我的 Synology Python 2.7.12 上,它按预期输出字典。在我的笔记本电脑上 Win 64 Python 3.7.4。最新的 feedparser 在处理 georss:point 标记中的纬度和经度时会引发 StopIteration 异常。我尝试使用 feedparser 中 _gen_georss_coords 方法的值执行语句,它似乎工作正常,所以我有点困惑。

标签: python-3.x parsing rss rss-reader


【解决方案1】:

首先,我知道你没有得到任何结果 - 不是像我这样的错误。也许您正在运行不同的版本。正如我所提到的,它在 Python 2 中的旧版本上产生了结果,使用的程序每晚都稳定运行了大约 5 年,但它在 Python 3.7.4 64 上新安装的 feedparser 5.2.1 上引发异常位。

我不完全确定发生了什么,但名为_gen_georss_coords 的函数在第一次调用时会抛出StopIteration。由于PEP479 的实现,我注意到了一些对这个错误的引用。它是作为生成器编写的,但对于您的 rss 提要,它只需要返回 1 个元组。这是有问题的函数。

def _gen_georss_coords(value, swap=True, dims=2):
    # A generator of (lon, lat) pairs from a string of encoded GeoRSS
    # coordinates. Converts to floats and swaps order.
    latlons = map(float, value.strip().replace(',', ' ').split())
    nxt = latlons.__next__
    while True:
        t = [nxt(), nxt()][::swap and -1 or 1]
        if dims == 3:
            t.append(nxt())
        yield tuple(t)

发生了一些奇怪的事情,可能与 PEP479 以及在同一个函数中发生两个单独的生成器这一事实有关,这导致 StopIteration 冒泡到调用函数。不管怎样,我重写了它是一种更直接的方式。

def _gen_georss_coords(value, swap=True, dims=2):
    # A generator of (lon, lat) pairs from a string of encoded GeoRSS
    # coordinates. Converts to floats and swaps order.
    latlons = list(map(float, value.strip().replace(',', ' ').split()))
    for i in range(0, len(latlons), 3):
        t = [latlons[i], latlons[i+1]][::swap and -1 or 1]
        if dims == 3:
            t.append(latlons[i+2])
        yield tuple(t)

你可以在你的代码中定义上面的新函数,然后执行下面的补丁到feedparser中

saveit, feedparser._gen_georss_coords = (feedparser._gen_georss_coords, _gen_georss_coords)

完成后,您可以使用以下命令将 feedparser 恢复到之前的状态

feedparser._gen_georss_coords, _gen_georss_coords = (saveit, feedparser._gen_georss_coords)

或者,如果您确信这是可靠的,您可以修改 feedparser 本身。不管怎样,我做了这个把戏,你的 RSS 提要突然开始工作了。也许在您的情况下,它也会带来一些改进。

【讨论】:

  • 哇,谢谢你真的全力以赴,但它有助于负载。您认为值得向 lib 创建者提及这一点吗?
  • 我在_gen_georss_coords上搜索,发现问题是在几个月前发现的,是Python 3.7更改的结果:github.com/custom-components/feedparser/issues/10,但新版本尚未发布。当前版本是 2015 年的。显然有一个“修补程序”可用。
猜你喜欢
  • 2011-12-14
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
  • 2020-12-08
  • 1970-01-01
  • 2020-01-10
  • 2011-09-24
相关资源
最近更新 更多