阅读和组合多个每周 csv 文件时出现问题

Question

所以我有几年的每周 CSV 文件，格式为 YYmmdd：

file = 'C:\\rig-070103'

我正在尝试读取它们并将它们组合成一个数据集，最好是在一个日期范围内。到目前为止，我有：

pieces = []


for date in range(100):
    path = 'C:\\rig-YYmmdd.csv' % date
    frame = pd.read_csv(path)
    #frame['Date']= date
    pieces.append(frame)
    dataset = pd.concat(pieces, ignore_index=True)
print(dataset)

But this is giving me the error: 
path = 'C:\\rig-YYmmdd.csv' % date
TypeError: not all arguments converted during string formatting

我知道这与我如何引用每个文件有关，有什么建议吗？我还想创建另一列列出加载的每个文件的日期，因此每个文件的所有行都重复 1 个日期。非常感谢您对此的任何帮助！

以下是数据示例：

Prov    Location    LSD Section Township    Range   Meridian ...
AB  00-00-006-29W4  0   0   6   29  4
AB  01-18-008-09W4  1   18  8   9   4
AB  05-10-008-10W4  5   10  8   10  4
AB  01-12-008-12W4  1   12  8   12  4
AB  09-23-008-26W4  9   23  8   26  4
AB  13-13-009-25W4  13  13  9   25  4

Answer 1

所以你在这里做一些事情。一个是您需要一个日期范围，其中每个元素都是一天。那一天需要被格式化为 yymmdd。然后将 csv 拉入数据框。然后为日期添加一个列。然后将其附加到主数据框。这是一个尝试：

import pandas as pd

myDateList = pd.date_range('2003-01-01', periods=100)

myBigDf = pd.DataFrame()

for date in myDateList:
    path = 'C:\\rig-' + date.strftime('%y%m%d') + '.csv' 
    print path # show you what you got
    piece = pd.read_csv(path)
    piece['fileDate'] = date.strftime('%y%m%d')
    myBigDf.append(piece, ignore_index=True)

Answer 2

这里发生了几件事：

首先，for date in range(100) 将遍历整数 0 到 99。找不到任何日期。

接下来，path = 'C:\\rig-YYmmdd.csv' % date 无效。 假设你实际上有一个 datetime 对象，你会这样做：path = 'C:\\rig-%s.csv' % date.strftime('%y%m%d')

最后，您在每次迭代时都在写入/覆盖您的数据框。太傻了。

所以你的代码变成了

import pandas
pieces = []
columns = ['Prov', 'Objective', 'WellStatus', 'WellType']

for date in pandas.date_range('2012-01-01', periods=100):
    path = r'C:\rig-%s.csv' % date.strftime('%y%m%d')
    frame = pandas.read_csv(path, names=columns, encoding='utf-8')
    frame['date'] = date
    pieces.append(frame)

dataset = pandas.concat(pieces, ignore_index=True)
print(dataset)

Answer 3

正如回溯所示，在字符串上使用模运算符不是正确的方法。您可以使用本教程 (https://docs.python.org/2.4/lib/typesseq-strings.html) 了解如何使用它。

要获取给定日期的 yymmdd 格式的字符串，您可以使用 datetime 模块 (https://docs.python.org/2/library/datetime.html) 和 datetime.date 的“strftime”函数，如下所示：

from datetime import date 
d = date(2007, 1, 13)
filename = d.strftime("C://rig-%y%m%d.csv")
#filename will be "C://rig-070113.csv"

如果您想要连续 100 天以上的迭代，则必须使用 datetime.timedelta：

from datetime import date, timedelta
one_day = timedelta(1)
act_day = date(2007, 1, 13)
for i in range(100):
    filename = act_day.strftime("C://rig-%y%m%d.csv")
    ...
    act_day += one_day