Python Web Scraping：urllib.request.urlopen 挂起答案

【问题标题】：Python Web Scraping: urllib.request.urlopen hangsPython Web Scraping：urllib.request.urlopen 挂起
【发布时间】：2020-09-12 03:29:41
【问题描述】：

我正在尝试使用以下代码抓取网站。
但是该功能永远不会返回（我怀疑是因为机器人在网站上被阻止）。有什么解决方法吗？

import urllib.request
url = "https://www.nseindia.com/option-chain"
req = urllib.request.Request(
    url, 
    data=None, 
    headers={
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_9_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.47 Safari/537.36'
    }
)
response = urllib.request.urlopen(req)
html = response.read()
print(html)

【问题讨论】：

标签： python python-3.x web-scraping urllib

【解决方案1】：

如果你改变了用户代理（我用过邮递员）就可以了：

import urllib.request
url = "https://www.nseindia.com/option-chain"
req = urllib.request.Request(
    url, 
    data=None, 
    headers={
        'User-Agent':"PostmanRuntime/7.6.0"
    }
)
response = urllib.request.urlopen(req)
html = response.read()
print(html)

【讨论】：