使用 Python 上的 Web-Crawler 打印文章

Question

我是 Python 新手，我正在尝试制作一个仅打印文章（例如此网站 -http://techcrunch.com/2014/09/15/microsoft-has-acquired-minecraft/）而不是网站上的其他内容的网络爬虫。我试过这个（这不起作用）：

source_code = requests.get('http://techcrunch.com/2014/09/15/microsoft-has-acquired-minecraft/')
plain_text = source_code.text
soup = BeautifulSoup(plain_text)

for link in soup.findAll('div', {'class': 'article-entry text'}):
    title = link.string
    print(title)

及其打印：'无' 谢谢

Answer 1

您只需要这样插入for 循环的文章：

for link in soup.findAll('div', {'class': 'article-entry text'}):
  title = link.string
  print(title)

制作：

title = soup.find('h1', {'class': 'alpha tweet-title'}).get_text()
article = soup.find('div', {'class': 'article-entry text'}.get_text()
print title
print article

你只会得到标题和文章。

有关BeautifulSoup 的文档可能会有所帮助。