【发布时间】:2019-05-11 23:20:29
【问题描述】:
这是我第一次使用 Python 和 BeautifulSoup。问题是我正在将博客中的所有文章从一个网站迁移到另一个网站,为了执行此操作,我从 xml 文件中提取某些信息;我的代码的最后一部分告诉我们只从元标记中提取位置 0 和 164 之间的文本,这样它就可以在谷歌 SERP 上按照他们想要的方式出现。
这里的问题是博客中的一些文章在标签内的第一行有 img 标签,我想删除它们,包括 src 属性,这样代码就可以只抓取这些 img 标签之后的文本。
我尝试了很多方法来解决它,但我没有成功。
这是我的代码:
from bs4 import BeautifulSoup
from urllib2 import urlopen
import csv
import sys
import re
reload(sys)
sys.setdefaultencoding('utf8')
base_url = ("http://pimacleanpro.com/blog?rss=true")
soup = BeautifulSoup(urlopen(base_url).read(),"xml")
titles = soup("title")
slugs = soup("link")
bodies = soup("description")
with open("blog-data.csv", "w") as f:
fieldnames = ("title", "content", "slug", "seo_title", "seo_description","site_id", "page_path", "category")
output = csv.writer(f, delimiter=",")
output.writerow(fieldnames)
for i in xrange(len(titles)):
output.writerow([titles[i].encode_contents(),bodies[i].encode_contents(formatter=None),slugs[i].get_text(),titles[i].encode_contents(),bodies[i].encode_contents(formatter=None)[4:164]])
print "Done writing file"
任何帮助将不胜感激。
【问题讨论】:
-
是的,但我不知道如何将其融入语法。这是我用python编写的第一个代码,我不知道如何完全解决它。你能帮帮我吗?
-
你能更清楚你需要做什么吗?您想删除
<img>中的所有<img>标记及其内容吗?此外,您似乎使用的是 Python 2。如果您只需要 Python 2 解决方案,则应标记 Python 2。 -
谢谢@MihaiChelaru,我刚刚标记了Python 2。正如您在pimacleanpro.com/blog?rss=true 中看到的那样,有16 个
标签,其中一些在它之后有一个 标签,我需要省略/删除 img 标签,因此代码行 bodies[i].encode_contents(formatter=None)[4:164] 仅在第一个 img 之后从位置 4 到 164 获取文本标签。例如,您可以查看第三个
标签,它后面有一个 img 标签。