使用 Python 在 Web-Scraping 上遇到关键错误

Question

我正在尝试获取数据并导出到 CSV，我有主 URL 页面和第二个 URL 主页面。 现在我正在尝试从这个 html 类中获取“18.111”和“98.111”：

<img class="aaa" alt="map" data-track-id="static-map" width="97" height="142" src="https://websitewithdetailsD&amp;width=194&amp;height=284&amp;lat=18.111&amp;lon=98.111&amp;level=15&amp;returnImage=true">

我的代码是什么

for gps in secondpage_parser.find_all('img',{"class":"aaa"}, src=True):
     parsed_url = urlparse(gps['src'])
     mykeys = ['lat', 'lon']
     gpslocation = [parse_qs(parsed_url.query)[k][0] for k in mykeys]
print(gpslocation)

但是，它的行上有 Key 错误 “gpslocation = [parse_qs(parsed_url.query)[k][0] for k in mykeys]” 当我跑的时候。

Name 和 Title 作为 html 类工作的其他部分的数据并不太复杂。 我想知道我在这里的哪个部分有错误或者我应该如何解决它。 请帮忙。

Answer 1

你可以简单地使用 split & replace 来做到这一点，如下所示：

def get_lat_lon(tag):
    for key_value in tag.split('src')[1].split(';'):
        if 'lat' in key_value:
            lat = key_value.split('=')[1].replace('&amp','')
        if 'lon' in key_value:
            lon = key_value.split('=')[1].replace('&amp','')
    return lat, lon

lat,lon = get_lat_lon("""<img class="aaa" alt="map" data-track-id="static-map" width="97" height="142" src="https://websitewithdetailsD&amp;width=194&amp;height=284&amp;lat=18.111&amp;lon=98.111&amp;level=15&amp;returnImage=true">"""
)
print 'lat: ' + lat
print 'lon: ' + lon