【问题标题】:Why json download with Python urllib.request is so slow? How can I make it faster? [closed]为什么用 Python urllib.request 下载 json 这么慢?我怎样才能让它更快? [关闭]
【发布时间】:2021-10-13 12:16:37
【问题描述】:

我执行以下代码:

import urllib.request
from datetime import datetime

start = datetime.now()
user_agent = 'First Lastname abc@def.com' # SEC uses this format as header.

url = 'https://data.sec.gov/submissions/CIK0000320193.json'
headers={'User-Agent':user_agent,} 

request=urllib.request.Request(url,None,headers) 
response = urllib.request.urlopen(request)
data = response.read()
print(datetime.now() - start)

我花了0:02:33.646154 2.5 分钟。 这对我来说没有意义,因为我可以在不到一秒钟的时间内用浏览器打开链接。 为什么代码这么慢?我怎样才能让它更快? 感谢您的任何建议。

【问题讨论】:

  • 这段代码的哪部分花费的时间最多?

标签: python json urllib


【解决方案1】:

我运行了您提供的确切代码,并在 0:00:00.515504 秒内返回。

这里有 3 个原因说明为什么 您 需要这么长时间才能将其归还。

  1. 您的计算机速度非常慢。
  2. 您的互联网连接速度很慢/不稳定。
  3. 也许https://data.sec.gov 故意花了很长时间才回复您,因为您多次运行代码并让您冷静下来。

【讨论】:

  • 为什么这些都不适用于在浏览器中打开链接?
  • 是的,你是对的。我重新运行它并在 0:00:00.377205 完成。感谢您的测试
猜你喜欢
  • 1970-01-01
  • 1970-01-01
  • 2011-04-22
  • 2021-07-28
  • 2020-06-28
  • 2020-12-27
  • 1970-01-01
  • 2021-08-02
  • 1970-01-01
相关资源
最近更新 更多