【发布时间】:2018-03-22 12:52:42
【问题描述】:
我正在使用warcio 库来读取和写入warc 文件。
当尝试从requests.get(URL,stream=False) 写入响应对象的记录时,warcio 仅将 HTTP 标头写入记录,而不是负载。但是,启用流模式后,它可以正常工作。
在未启用流模式时是否可以存储有效负载?
【问题讨论】:
标签: python python-3.x python-requests warc
我正在使用warcio 库来读取和写入warc 文件。
当尝试从requests.get(URL,stream=False) 写入响应对象的记录时,warcio 仅将 HTTP 标头写入记录,而不是负载。但是,启用流模式后,它可以正常工作。
在未启用流模式时是否可以存储有效负载?
【问题讨论】:
标签: python python-3.x python-requests warc
我找到了一种解决方法,但不确定它是否正确。我没有使请求对象可流式传输,而是使有效负载可流式传输
BytesIO(response.text.encode()) 这似乎有效。
【讨论】:
BytesIO(response.content) 对象可以正常工作