Python / Django 比较和更新模型对象

Question

我才刚开始使用 python，但在过去的几个月里学到了很多东西，现在我在快速更新模型上的对象方面遇到了困难。

我有一个名为 Products 的模型，它是从一个 csv 文件中填充的，每天这个文件都会随着成本和数量等变化而更新，我可以将文件的每一行与 Products 模型进行比较，但是这需要 120k 行3-4 小时。

我可以采取什么过程来使这个过程更快地处理这个文件。如果成本和数量发生变化，我只想修改对象

任何建议我如何解决这个问题？

我尝试过的版本 3。

from django.core.management import BaseCommand
from multiprocessing import Pool
from django.contrib.auth.models import User
from pprint import pprint  
from CentralControl.models import Product, Supplier
from CentralControl.management.helpers.map_ingram import *
from CentralControl.management.helpers.helper_generic import *
from tqdm import tqdm

from CentralControl.management.helpers.config import get_ingram
import os, sys, csv, zipfile, CentralControl

# Run Script as 'SYSTEM'
user = User.objects.get(id=1)

# Get Connection config.   
SUPPLIER_CODE, FILE_LOCATION, FILE_NAME = get_ingram()


class Command(BaseCommand):
def handle(self, *args, **options):
    list_in = get_file()
    list_current = get_current_list()

    pool = Pool(6)

    pool.map(compare_lists(list_in, list_current))

    pool.close()



def compare_lists(list_in, list_current):
    for row_current in tqdm(list_current):
         for row_in in list_in:
             if row_in['order_code'] == row_current['order_code']:

                #do more stuff here.

                pass

def get_current_list():
    try:
        supplier = Supplier.objects.get(code='440040')
        current_list = Product.objects.filter(supplier=supplier).values()
        return current_list
    except:
        print('Error no products with supplier')
        exit()


def get_file():
    with zipfile.ZipFile(FILE_LOCATION + 'incoming/' + FILE_NAME, 'r') as zip:
    with zip.open('228688 .csv') as csvfile:
        reader = csv.DictReader(csvfile)
        list_in = (list(reader))

        for row in tqdm(list_in):
            row['order_code'] = row.pop('Ingram Part Number')
            row['order_code'] = (row['order_code']).lstrip("0")
            row['name'] = row.pop('Ingram Part Description')
            row['description'] = row.pop('Material Long Description')
            row['mpn'] = row.pop('Vendor Part Number')
            row['gtin'] = row.pop('EANUPC Code')
            row['nett_cost'] = row.pop('Customer Price')
            row['retail_price'] = row.pop('Retail Price')
            row['qty_at_supplier'] = row.pop('Available Quantity')
            row['backorder_date'] = row.pop('Backlog ETA')
            row['backorder_date'] = (row['backorder_date'])
            row['backorder_qty'] = row.pop('Backlog Information')

        zip.close()
        #commented out for dev precess.
        #os.rename(FILE_LOCATION + 'incoming/' + FILE_NAME, FILE_LOCATION + 'processed/' + FILE_NAME)
        return list_in

Answer 1

我曾经遇到过数据加载缓慢的问题，我可以告诉你我做了什么也许它可以以某种方式帮助你，我将执行传递到调试模式并试图找出导致加载缓慢的列，并且每次我看到一个列导致问题时，我都会在其上添加一个索引（在我的情况下，在 SGBD --> postgreSQL 中），并且它起作用了。我希望你也面临同样的问题，所以我的回答可以帮助你。

Answer 2

这是一个粗略的想法： 1，读取csv时，使用@BearBrow建议的pandas到array_csv 2、将Django中的obj数据转换成Numpy数组array_obj 3、不要一一比较，使用numpy减法

compare_index = (array_csv[['cost',['quantity']]] - array[['cost',['quantity']]] == 0)

4、找到更新的列 obj_need_updated = array_obj[np.logic_any(compare_index['cost'], compare['quantity'])]

然后使用Django批量更新https://github.com/aykut/django-bulk-update进行批量更新

希望这将为您提供加快代码速度的提示