【问题标题】:'application/octet-stream' instead of application/csv?'application/octet-stream' 而不是 application/csv?
【发布时间】:2021-03-22 16:28:58
【问题描述】:

我对 Python 还是很陌生。我想确认数据集的类型(下面代码中的 URL)确实是一个 csv 文件。但是,通过标题检查时,我得到“application/octet-stream”而不是“application/csv”。 我假设我在读取数据时以错误的方式定义了一些东西,但我不知道是什么。 感谢您的帮助!

import requests
url="https://opendata.ecdc.europa.eu/covid19/casedistribution/csv/data.csv"
d1 = requests.get( url )

filePath = 'data/data_notebook-1_covid-new.csv'
with open(filePath, "wb") as f: 
    f.write(d1.content)

## data type via headers #PROBLEM
import requests
headerDict=d1.headers

#accessing content-type header
if "Content-Type" in headerDict:
    print("Content-Type:")
    print( headerDict['Content-Type'] )

【问题讨论】:

  • application/octet-stream 是从服务器发送的,您无法更改任何内容。通常octet-stream用于强制浏览器下载文件。
  • @mauricemeyer 这不是我希望的答案哈哈!谢谢:)

标签: python csv request-headers


【解决方案1】:

我假设我在读取数据时以错误的方式定义了一些东西

不,你没有。 Content-Type 标头 supposed 指示响应正文是什么,但是您无法强制服务器将其设置为您期望的值。有些服务器配置不当,无法正常运行。

application/octet-stream 是其中最通用的内容类型 - 它只为您提供“这是一堆字节,玩得开心”的信息。

更重要的是,每种内容不一定都有一个 True Type,只有或多或少被广泛接受的约定。对于 CSV,常见的是 text/csv。

因此,如果您确定内容是什么,请随意忽略 Content-Type 标头。

import requests

url = "https://opendata.ecdc.europa.eu/covid19/casedistribution/csv/data.csv"
response = requests.get(url)

filePath = 'data/data_notebook-1_covid-new.csv'
with open(filePath, "wb") as f: 
    f.write(response.content)

在没有任何进一步信息的情况下,以二进制模式写入文件是一个好主意,因为这将完全保留原始字节。


为了将其转换为字符串,需要使用某种编码对其进行解码。由于 Content-Type 在这里没有给出任何指示(它可以说是Content-Type: text/csv; charset=XYZ),所以对于来自 Internet 的数据,最好的第一个假设是 UTF-8:

import csv

filePath = 'data/data_notebook-1_covid-new.csv'
with open(filePath, encoding='utf-8') as f: 
    reader = csv.reader(f, delimiter=',')
    for row in reader:
        print(row)

如果结果是错误的(即存在解码错误或乱码),您可以尝试不同的编码,直到找到可行的编码。如果您一开始就以文本模式写入文件,这是不可能的,因为错误解码导致的任何数据损坏都会将其放入文件中。

【讨论】:

    猜你喜欢
    • 2014-06-08
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2023-02-03
    • 2010-12-28
    • 1970-01-01
    • 2010-11-04
    • 1970-01-01
    相关资源
    最近更新 更多