如何用python计算csv文件行之间的差异

Question

我是 Python 新手。当它们具有相同的 id 时，我想对 csv 文件的两行进行区分。这个 csv 数据集是从一个包含超过 300 万行的 sql 表导出构建的。

这是我的时间序列数据集的示例：

DATE -  Product ID - PRICE 

26/08  - 1 -  4
26/08 - 2 - 3
27/08 - 1 - 5
27/08 - 2 - 3

例如，我想计算 2008 年 8 月 26 日 id 为 1 的产品的价格与第二天（27 年 8 月）同一产品的价格之间的差异，以估计价格随时间的变化。我想知道在 Python 中操作和计算这些数据以进行计算的最佳方法是什么，无论是使用 Python 的 csv 模块还是代码中的 SQL 查询。我也听说过 Pandas 库...感谢您的帮助！

Answer 1

尝试按产品 ID 构建字典并在加载后分析每个 ID

dd = {}
with open('prod.csv', 'rb') as csvf:
    csvr = csv.reader(csvf, delimiter='-')
    for row in csvr:
        if if len(row) == 0 or row[0].startswith('DATE'):
            continue
        dd.setdefault(int(row[1]), []).append((row[0].strip(), int(row[2])))

dd

{1: [('26/08', 4), ('27/08', 5)], 
 2: [('26/08', 3), ('27/08', 3)]}

这将使进行比较变得非常容易