【发布时间】:2015-01-27 15:38:01
【问题描述】:
我有一个 csv 文件,其中包含我试图循环访问的几十个网页。
目标是从网页中获取文本,取出html标记(使用html2text),然后将干净的文本保存为.txt文件。我的想法是将每个网页的纯文本保存为列表中的一个项目,然后将列表中的每个项目导出到一个 txt 文件。
我可以让程序遍历 url 并取出 html,但保存到单个 txt 文件时会不断抛出错误。谁能给我一些关于如何做到这一点的想法?
代码:
from stripogram import html2text
import urllib
import csv
text_list = []
urls = csv.reader(open('web_links2.csv'))
for url in urls:
response = urllib.urlopen(url[0])
html = response.read()
text = html2text(html)
text_list.append(text)
print text_list
for item in text_list:
f = open('c:\users\jacob\documents\txt_files\%s.txt'%(item,), 'w')
f.write(item)
f.close
【问题讨论】:
-
抛出的错误是什么,发生在哪里?
标签: python loops csv web-scraping output