【发布时间】:2012-05-14 05:43:24
【问题描述】:
我有 40,000 个 HTML 文件。每个文件都有一个包含特定公司损益表的表格。
我想将所有这些数据抓取到 Stata 中。 (或者,放入 Excel/CSV 文件)。最终产品应该是一个 Stata/Excel 文件,其中包含所有公司的列表及其资产负债表的详细信息(收入、利润等)
我可以知道如何做到这一点吗?我尝试了 Outwit,但似乎还不够好。
【问题讨论】:
我有 40,000 个 HTML 文件。每个文件都有一个包含特定公司损益表的表格。
我想将所有这些数据抓取到 Stata 中。 (或者,放入 Excel/CSV 文件)。最终产品应该是一个 Stata/Excel 文件,其中包含所有公司的列表及其资产负债表的详细信息(收入、利润等)
我可以知道如何做到这一点吗?我尝试了 Outwit,但似乎还不够好。
【问题讨论】:
Stata 并不是最适合这项工作的工具。您将不得不使用低级 file 命令来读取输入文本文件,然后解析出相关表(同样,使用低级字符串处理)。将它们放入数据集中是最简单的部分;你也可以
expand 2 in l
replace company = "parsed name" in l
replace revenue = parsed_revenue in l
等,或使用post 机制。运气好的话,你会发现一些包可能会让它变得更简单,但我不知道有什么,findit html 似乎没有带来任何可用的东西。
【讨论】:
Stata 不是这项工作的好工具。原则上是可以的。就我个人而言,我已经做过类似的事情:将 ascii 文件读入 Stata,解析它们并从中提取信息。我使用insheet 将数据转储到Stata。然后我用Stata的string functions处理了数据。这有点麻烦。这些文件的结构非常简单明了。我不想想象当文件具有更复杂的结构时会发生什么。
我认为最好的策略是使用脚本语言,例如 Python、Perl 或 Ruby。提取包含在 html 表中的信息。结果可以很容易地写入 csv、Excel 甚至是 Stata (.dta) 文件。
【讨论】:
你应该使用 Python beautifulsoup 包。从 HTML 文件中提取数据非常方便。以下是链接。
http://www.crummy.com/software/BeautifulSoup/
在文档中,有很多命令,但只有少数命令是重要的。以下是重要的命令:
from bs4 import BeautifulSoup
#read the file
fp=open(file_name,'r')
data=fp.read()
fp.close()
#pass the data to beautifulsoup
soup = BeautifulSoup(html_doc, 'html.parser')
#extract the html elements by id and write result into file
【讨论】: