BeautifulSoup - TypeError：序列项 0：预期的 str 实例

Question

我使用 python 做了一个网络爬虫，一切都运行良好，直到它到达这部分代码：

    # Use BeautifulSoup modules to format web page as text that can
    # be parsed and indexed
    #
    soup = bs4.BeautifulSoup(response, "html.parser")
    tok = "".join(soup.findAll("p", text=re.compile(".")))
    # pass the text extracted from the web page to the parsetoken routine for indexing
    parsetoken(db, tok)
    documents += 1

我得到的错误是TypeError: sequence item 0: expected str instance，在代码中的 tok 行周围找到了标记。
我认为我的语法可能是问题，但我不确定。我该如何解决这个问题？

Answer 1

这里有几个问题：

• 首先，我不确定您从哪里获得response，但这应该是一串实际的HTML。确保您不只是从抓取一个告诉您它是否成功的站点中捕获“响应”代码。
• 更重要的是，当您执行“findAll”时，请注意这将返回 BeautifulSoup 对象列表，不是字符串列表。所以“join”命令不知道如何处理这些。它查看列表中的第一个对象，发现它不是字符串，这就是为什么它会出错并抱怨它“expected str instance”。好消息是您可以使用 .text 从给定的 <p> 元素中提取实际文本。
• 即使您确实使用.text 从每个<p> 对象中提取实际文本，但如果您的列表是unicode 和str 格式的混合，您的join() 仍可能失败。因此，在加入之前，您可能需要进行一些编码技巧以使所有内容都具有相同的类型。

这是我使用此页面所做的示例：

>>> import bs4, re
>>> import urllib2
>>> url = "https://stackoverflow.com/questions/3925614/how-do-you-read-a-file-into-a-list-in-python"
>>> html = urllib2.urlopen(url).read()
>>> soup = bs4.BeautifulSoup(html, "html.parser")
>>> L = soup.findAll("p", text=re.compile("."))
>>> M = [t.text.encode('utf-8') for t in L]
>>> print(" ".join(M))

这将打印在“P”标签中找到的所有内容的组合文本。

编辑：此示例在 Python 2.7.x 上。对于 3.x，删除“.encode('utf-8')”。