如何使用 django 上传 1cr 行 .csv 文件？

【问题标题】：How can i upload as 1cr rows .csv file using django?如何使用 django 上传 1cr 行 .csv 文件？
【发布时间】：2020-05-08 23:29:13
【问题描述】：

上传大小约为 650 mb 且形状为 (10882101, 6) 的 CSV 文件时出现内存错误。如何使用 django 框架在 postgres 中上传此类文件。

【问题讨论】：

【解决方案1】：

您没有分享太多详细信息（错误日志、您正在使用的 python 包等）。
您可能想阅读Most efficient way to parse a large .csv in python?、https://medium.com/casual-inference/the-most-time-efficient-ways-to-import-csv-data-in-python-cc159b44063d
我将如何从 Django 框架中做到这一点：
- 我将使用 Celery 作为后台进程运行作业，因为在返回响应之前等待文件完全上传可能会导致 HTTP 超时。
- Celery quickstart with Django

【讨论】：