【问题标题】:Uploading a csv type data using python request.put without reading from a saved csv file?使用 python request.put 上传 csv 类型数据而不从保存的 csv 文件中读取?
【发布时间】:2020-06-12 05:02:57
【问题描述】:

我有一个 api 端点,我正在使用 python 上传数据。端点接受

putHeaders = {
    'Authorization': user,

    'Content-Type': 'application/octet-stream' }

我当前的代码正在这样做

. 将字典保存为 csv 文件

.将 csv 编码为 utf8

dataFile = open(fileData['name'], 'r').read()).encode('utf-8')

.上传文件到api端点

fileUpload = requests.put(url,
                          headers=putHeaders,
                          data=(dataFile))

我想要实现的是

加载数据而不保存

到目前为止我尝试过

使用

将我的字典转换为字节

data = json.dumps(payload).encode('utf-8')

并加载到 api 端点。这可行,但 api 端点中的输出不正确。

问题

有谁知道如何在不实际保存文件的情况下上传 csv 类型的数据?

【问题讨论】:

    标签: python python-requests


    【解决方案1】:

    更新答案

    我没有意识到您的输入是字典,您提到字典被保存为文件。我假设您代码中的字典查找引用了一个文件。如果您想从 dict 转到类似 CSV 文件的对象,则需要做更多的工作。

    根据您问题中的 I/O,您的输入字典似乎具有以下结构:

    file_data = {"name": {"Col1": 1, "Col2": 2}}

    鉴于此,我建议使用 csv 和 io 尝试以下操作:

    import csv
    import io
    
    import requests
    
    session = requests.Session()
    session.headers.update(
        {"Authorization": user, "Content-Type": "application/octet-stream"}
    )
    
    file_data = {"name": {"Col1": 1, "Col2": 2}}
    
    with io.StringIO() as f:
        name = file_data["name"]
        writer = csv.DictWriter(f, fieldnames=name)
        writer.writeheader()
        writer.writerows([name])  # `data` is dict but DictWriter expects list of dicts
    
        response = session.put(url, data=f)
    

    您可能希望使用请求标头中传递的正确 MIME 类型进行测试。虽然端点可能不在乎,但最佳做法是使用正确的数据类型。 CSV 应该是text/csv。 Python还提供了MIME types module:

    >>> import mimetypes
    >>> 
    >>> mimetypes.types_map[".csv"]
    'text/csv'
    

    原答案

    只需以字节模式打开文件,而不用担心编码或读入内存。

    此外,使用上下文管理器来处理文件而不是分配给变量,并将您的标头传递给 Session 对象,这样您就不必在请求调用中重复传递标头数据。

    PUT 方法的文档:

    https://requests.readthedocs.io/en/master/api/#requests.put

    data –(可选)字典、元组列表、字节、或类似文件的对象在请求正文中发送。

    import requests
    
    session = requests.Session()
    session.headers.update(
        {"Authorization": user, "Content-Type": "application/octet-stream"}
    )
    
    with open(file_data["name"], "rb") as f:
        response = session.put(url, data=f)
    

    注意:我修改了您的代码以更严格地遵循 python 样式指南。

    【讨论】:

    • 嗨,对不起,这可能是一个愚蠢的问题,但请多多包涵,因为我是编程新手。当您说以字节模式打开文件时,这是什么意思?我不想保存文件,我想将我的 dic 中的数据直接保存到 request.post 。所以我的数据在 dic 内存中,从那个 dic momery 位置到 api 作为 csv 。我希望这是有道理的
    • 我的错,我以为您在字典查找中引用了一个文件。看看更新后的答案。
    【解决方案2】:

    编辑:在将 dict 写入 csv 时,使用 io.StringIO() 作为类文件对象。然后调用get_value() 并将其作为数据参数传递给requests.put()。

    有关详细信息,请参阅此问题:How do I write data into CSV format as string (not file)?。

    旧答案:

    如果你的字典是这样的:

    my_dict = {'col1': 1, 'col2': 2}
    

    然后您可以将其转换为 csv 格式,如下所示:

    csv_data = ','.join(list(my_dict.keys()))
    csv_data += ','.join(list(my_dict.values()))
    csv_data = csv_data.encode('utf8')
    

    然后使用data=csv_data 拨打您的requests.put() 电话。

    【讨论】:

    • 谢谢 只是一个简单的问题。如果我有多个 dic 元素,我会将您的代码放入 for 循环中?
    • 我修改了我的答案。事实证明,有一种我没有想到的更好的方法。
    • @kkoc3 如果这回答了您的问题,请随时投票/标记我的已接受答案。如果您对此还有任何疑问,请告诉我。
    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2020-01-07
    • 1970-01-01
    • 1970-01-01
    • 2018-04-16
    相关资源
    最近更新 更多