【发布时间】:2019-10-20 17:42:33
【问题描述】:
我是 python 数据科学的新手。所以,我想玩弄以下数据“https://www.ssa.gov/OACT/babynames/limits.html”。这里的主要问题是,它没有给我一个包含所有年份数据的文件,而是包含每年的单独文件。此外,每个单独的文件也缺少列标题。
仅供参考,数据包含自 1910 年起所有已注册美国公民的姓名、性别和一些身份证号。这些数据可供公众使用(旨在帮助人口统计学家跟踪流行名称的趋势)。
因此,我面临的一个主要问题是需要直接编辑 100 多个文件(手动打开每个文件并进行编辑),以确保所有列标题都相同(这是 concat 等函数所必需的工作)。
另一个大问题是任务的巨大规模。对 100* 个文件使用 concat 非常非常低效,而且仅仅扫描/读取数据就用掉了 100 多行代码
当然,'concat' 是为此而构建的,但我认为将它用于大约 130 个文件是非常低效的。关于缺少的列标题,我手动编辑了一些文件,但是太多了,无法直接编辑。
names2010 = pd.read_csv("../yob2010.txt")
names2011 = pd.read_csv("../yob2011.txt")
names = pd.concat([names2010, names2011])
直觉上,这是我要避免的>
#rough notation
names = pd.concat([names1910, names1911 ..., names2017, names2018])
这只是两年的数据。我需要创建一个包含从 1910 年到 2018 年的所有数据的单个数据框。
更新:我已经弄清楚如何组合所有不同的 .txt 文件,但仍需要解析列标题。
dataframes = pd.read_csv("../yob1910.txt")
for year in range(1911, 2019):
temp_frame = pd.read_csv("../yob{}.txt".format(year))
dataframes = pd.concat([temp_frame, dataframes])
【问题讨论】: