使用 Requests POST 请求发送元数据和数据框

Question

我正在使用 python 请求将 Pandas 数据帧发送到 Flask 服务器。数据框有大约 200 万行和 16 列。我想将配置字典与数据帧一起作为元数据发送。目前我可以将数据帧作为 JSON 文件发送，但是，我找不到任何方法将元数据附加到同一个发布请求中。

这是我的代码：

客户端：

 # Post request containing 1. The dataset (pandas df) 2. The metadata (dict)

 dataset = dataset.to_json(orient='split')
 metadata = {'dataset ID': "makis", 'date start': "1", 'date end': "2"}

 url = "http://localhost:8081/upload_dataset"
 r = requests.post(url, data=dataset)
 return r.text

服务器端：

@app.route("/upload_dataset", methods=['POST'])

def upload_dataset():
    from werkzeug.datastructures import FileStorage

    payload = request.stream
    dataset = pd.read_json(payload, typ='frame', orient='split')
    FileStorage(payload).save('dataset.csv')

    return 'File Uploaded & Standing by', 200

Answer 1

一旦序列化为 json，您的数据集就是纯文本。要从那里添加更多参数，您唯一的选择是将有效负载与元数据一起嵌入post parameters，从而对 json 进行 url 编码。或者将您的有效负载嵌入顶级json post，从而在json中进行双重编码。

如果您将 json 编码工作留给 requests，您将获得清晰度和性能。通过这种方式，您可以添加数据并且仍然只编码/解码一次。

例子

dataset = dataset.to_dict(orient='list')
post_data = {'dataset ID': "makis", 'date start': "1", 'date end': "2", 'payload': dataset}
url = "http://localhost:8081/upload_dataset"
r = requests.post(url, json=post_data)

服务器端：

@app.route("/upload_dataset", methods=['POST'])
def upload_dataset():
    post_data = request.get_json()
    ## Use of meta data keys e.g. post_data['date start']
    dataset = pd.from_dict(post_data['payload'], orient='columns')