使用 BeautifulSoup 从 `div` 中的 `p` 中提取文本

Question

我对使用 Python 进行网络抓取非常陌生，而且我真的很难从 HTML 中提取嵌套文本（确切地说是div 中的p）。这是我到目前为止得到的：

from bs4 import BeautifulSoup
import urllib

url = urllib.urlopen('http://meinparlament.diepresse.com/')
content = url.read()
soup = BeautifulSoup(content, 'lxml')

这很好用：

links=soup.findAll('a',{'title':'zur Antwort'})
for link in links:
    print(link['href'])

此提取工作正常：

table = soup.findAll('div',attrs={"class":"content-question"})
for x in table:
    print(x)

这是输出：

<div class="content-question">
<p>[...] Die Verhandlungen über die mögliche Visabefreiung für    
türkische Staatsbürger per Ende Ju...
<a href="http://meinparlament.diepresse.com/frage/10144/" title="zur 
Antwort">mehr »</a>
</p>
</div>

现在，我想提取p 和/p 中的文本。这是我使用的代码：

table = soup.findAll('div',attrs={"class":"content-question"})
for x in table:
    print(x['p'])

但是，Python 会引发 KeyError。

Answer 1

以下代码使用class“内容问题”查找并打印div中每个p元素的文本

from bs4 import BeautifulSoup
import urllib

url = urllib.urlopen('http://meinparlament.diepresse.com/')
content = url.read()
soup = BeautifulSoup(content, 'lxml')

table = soup.findAll('div',attrs={"class":"content-question"})
for x in table:
    print x.find('p').text

# Another way to retrieve tables:
# table = soup.select('div[class="content-question"]')

以下是table中第一个p元素的打印文本：

[...] Die Verhandlungen über die mögliche Visabefreiung für türkische Staatsbürger per Ende Juni sind noch nicht abgeschlossen, sodass nicht mit Sicherheit gesagt werden kann, ob es zu diesem Zeitpunkt bereits zu einer Visabefreiung kommt。 Auch die genauen Modalitäten einer solchen Visaliberalisierung sind noch nicht ausverhandelt。 Prinzipiell ist es jedoch so, dass Visaerleichterungen bzw。 -liberalisierungen eine Frage von Reziprozität sind, d.h. dass diese für beide Staaten gelten müssten。 [...]