使用python脚本推断excel文件中的数据

Question

我有一些国家的给定数据集，其中包含以下字段：

DATE
SOURCE COMPANY 
DESTINATION COMPANY 
QUANTITY
UNITS

我有 2 天的数据，我需要用每个公司的日期和数量值推断一年的数据，然后在 excel 中打印结果。

我需要每个公司 x 1 行交付给每个公司 y 1 年。日期可以从 2018 年到今天，数量可以相差 +/- 100。

代码

import pandas as pd 
import numpy as np 
import os 
import datetime 
import random 
import sys 
from datetime import timedelta 

df = pd.read_csv("Location") 
df_1 = df 
for i in range(1,366): 
  for i in range(0,df.shape[0]): 
    df['Quantity'][i] = df['Quantity'][i] + random.randint(-100,100)    
    df['Date'][i] = pd.to_datetime(df['Date'])[i] + timedelta(days = -1)

df_1 = pd.concat([df_1,df]) 
df_1.to_csv("Extrapolated_data.csv",sep = '')

但是它消耗的时间是不可接受的，我怎样才能让它变得更好

Answer 1

我认为您在对问题的评论中发布的代码存在一些问题，您必须注意：

1. df_1.to_csv() 参数中的sep 需要设置为字符，即“，”或“;” （请参阅here），否则如果您不想使用另一个分隔符，则只需省略它，然后使用“，”
2. 您的源文件中没有 .csv 扩展名（这可能很好）
3. 分配df_1 = df 不仅会复制DataFrame 的列/元数据，还会复制DataFrame包括所有数据。这将产生一个包含原始数据和生成数据的文件。

更新代码

由于我还是 Pandas 的新手，我看不到只迭代行的方法，而是必须迭代行和列，这会导致下面的代码。我的示例文件总共有大约 40 行，结果文件有大约 13.000 行，文件大小为 619 KB。创建时间为 60,007 秒。从代码中删除时间计算和随机性将创建时间减少到 54,38 秒。这不是超快，但我也不会称之为超慢。

import pandas as pd 
import numpy as np 
import os 
import datetime 
import random 
import sys 
from datetime import timedelta 
from timeit import default_timer as timer

df = pd.read_csv("orders.csv") 
df_1 = pd.DataFrame(columns=df.columns) 
start = timer()

for d in range(1,366):
  for index, dfc in df.iterrows():

    dfc['Quantity'] = dfc['Quantity'] + random.randint(-100,100)    
    dfc['Date'] = pd.to_datetime(dfc['Date']) + timedelta(days = -d)
    df_1 = df_1.append(dfc, ignore_index=True)

  print("Loop ",d)  

end = timer()
print(end - start) 

df_1.to_csv("Extrapolated_data.csv",sep = ',')