url请求Python超出了最大重试次数

Question

我正在尝试抓取此页面，我使用的代码是这样的：

page = get("https://www.uobgroup.com/online-rates/gold-and-silver-prices.page")

运行此代码时出现此错误：

Traceback (most recent call last):
  File "/Users/lakesh/WebScraping/Gold.py", line 46, in <module>
    page = get("https://www.uobgroup.com/online-rates/gold-and-silver-prices.page")
  File "/Library/Python/2.7/site-packages/requests/api.py", line 72, in get
    return request('get', url, params=params, **kwargs)
  File "/Library/Python/2.7/site-packages/requests/api.py", line 58, in request
    return session.request(method=method, url=url, **kwargs)
  File "/Library/Python/2.7/site-packages/requests/sessions.py", line 512, in request
    resp = self.send(prep, **send_kwargs)
  File "/Library/Python/2.7/site-packages/requests/sessions.py", line 622, in send
    r = adapter.send(request, **kwargs)
  File "/Library/Python/2.7/site-packages/requests/adapters.py", line 511, in send
    raise SSLError(e, request=request)
requests.exceptions.SSLError: HTTPSConnectionPool(host='www.uobgroup.com', port=443): Max retries exceeded with url: /online-rates/gold-and-silver-prices.page (Caused by SSLError(SSLError(1, u'[SSL: SSLV3_ALERT_HANDSHAKE_FAILURE] sslv3 alert handshake failure (_ssl.c:590)'),))

也试过了：

page = get("https://www.uobgroup.com/online-rates/gold-and-silver-prices.page",verify=False)

这也不行。需要一些指导。

完整代码：

from requests import get
import requests
from requests.exceptions import RequestException
from contextlib import closing
from bs4 import BeautifulSoup
from collections import defaultdict
import json

requests.packages.urllib3.util.ssl_.DEFAULT_CIPHERS = 'DES-CBC3-SHA'
page = get("https://www.uobgroup.com/online-rates/gold-and-silver-prices.page")
html = BeautifulSoup(page.content, 'html.parser')
result = defaultdict(list)
last_table = html.find_all('table')[-1]

Answer 1

我添加了verify=False 选项，还取出了设置密码的行。一旦我这样做了，你的代码就可以在 Python 3 中为我工作......有时。它工作一次，然后似乎有一段时间不起作用。我的猜测是该站点是限速访问，可能基于它看到的代理签名，试图限制机器人访问。当它工作时我打印了last_table，这就是我得到的：

<table class="responsive-table-rates table table-striped table-bordered" id="nova-funds-list-table">
<tbody>
<tr>
<td style="background-color: #002265; text-align: center; color: #ffffff;">DESCRIPTION</td>
<td style="background-color: #002265; text-align: center; color: #ffffff;">CURRENCY</td>
<td style="background-color: #002265; text-align: center; color: #ffffff;">UNIT</td>
<td style="background-color: #002265; text-align: center; color: #ffffff;">BANK SELLS</td>
<td style="background-color: #002265; text-align: center; color: #ffffff;">BANK BUYS</td>
<td style="text-align: left; display: none;"> </td>
<td style="text-align: left; display: none;"> </td>
</tr>
</tbody>
</table>

我正在将传入的内容转储到文件中。当它工作时，我得到可读的 HTML。当它不起作用时，我会在顶部看到几行可读的行，然后是一堆乱码，可能是一些复杂的 Javascript。不确定那是什么。当它不起作用时，我得到这个：

Traceback（最近一次调用最后一次）：文件 “/Users/stevenjohnson/lab/so/ReadAFile.py”，第 8 行，在 last_table = html.find_all('table')[-1] IndexError: list index out of range

无论哪种情况，我都会返回 200 状态代码。

这是我的代码版本：

from requests import get
from bs4 import BeautifulSoup
from collections import defaultdict

page = get("https://www.uobgroup.com/online-rates/gold-and-silver-prices.page", verify=False)
html = BeautifulSoup(page.content, 'html.parser')
result = defaultdict(list)
last_table = html.find_all('table')[-1]
print(last_table)

我在 Mac 上。也许您不是，并且您机器上的证书链与我的不同，因此您无法尽我所能。不过，我想让你知道，你的代码只需要 verify=False 就可以为我工作。