错误 (429) 在 Python 中使用 geopy 进行地理编码时请求过多

Question

我有一个大约 20k 行的 Pandas 数据框，我正在尝试按地址列将地理编码为纬度/经度坐标。

我如何使用time.sleep() 或其他功能来阻止我现在得到的Too Many Requests 429 error 的OSM Nominatim？

这是我为此使用的代码：

from geopy.geocoders import Nominatim
from geopy.distance import vincenty

geolocator = Nominatim()
df['coord'] = df['address'].apply(geolocator.geocode).apply(lambda x: (x.latitude, x.longitude))
df.head()

提前致谢！

Answer 1

geopy 从 1.16.0 开始包含一个 RateLimiter 类，该类通过在查询之间添加延迟并重试失败的请求，提供了一种处理 Too Many Requests 429 error 的便捷方法。

from geopy.geocoders import Nominatim
geolocator = Nominatim(user_agent="specify_your_app_name_here")

from geopy.extra.rate_limiter import RateLimiter
geocode = RateLimiter(geolocator.geocode, min_delay_seconds=1)

df['coord'] = df['address'].apply(geocode).apply(lambda location: (location.latitude, location.longitude))
df.head()

文档：https://geopy.readthedocs.io/en/1.16.0/#usage-with-pandas

Answer 2

我想你会使用 for 循环。没有看到你的数据，它看起来像这样。

x = df['address'].tolist()
names = []

for item in x:
    d={}
    a = geolocator.geocode(item, exactly_one=True, timeout=60)
    try:
        d["Latitude"] = a.latitude
    except:
        pass
    try:
        d["Longitude"] = a.longitude
    except:
        pass
    time.sleep(2)
    names.append(d)

d

这就是您将如何实现 sleep 以等待 2 秒，然后再次运行循环。此外，如果地理定位器无法找到纬度和经度，它将通过而不是退出循环并让您重新开始。