将多行抓取的文本分离到单独的列表中答案

【问题标题】：Separate multi-line scraped text into separate lists将多行抓取的文本分离到单独的列表中
【发布时间】：2016-08-01 15:14:32
【问题描述】：

我正在使用 BS4 来抓取文本。我当前的文本输出有 7 个不同的字段，我想将它们放入 7 个不同的列表中。我的代码如下：

from bs4 import BeautifulSoup
import requests


urlYears = ['2012']
for year in urlYears:
    soup = BeautifulSoup(requests.get("https://en.wikipedia.org/wiki/" + "2012" + "_NFL_Draft").content,"html.parser")
    table = soup.select_one("table.wikitable.sortable")

    for row in table.select("tr + tr"):
        tds=row.text
        print (tds)

打印出来的结果如下：

7^
252
St. Louis Rams
Richardson, DarylDaryl Richardson 
RB
Abilene Christian
Lone Star




7^
253
Indianapolis Colts
Harnish, ChandlerChandler Harnish 
QB
NIU
MAC

我如何从其中的每一个创建列表？最终目标是导出为 CSV。

【问题讨论】：

标签： python csv web-scraping beautifulsoup

【解决方案1】：

一个简单的方法是只在换行符处split() 文本？

import os

from bs4 import BeautifulSoup
import requests

soup = BeautifulSoup(requests.get("https://en.wikipedia.org/wiki/2012_NFL_Draft").content, "html.parser")
table = soup.select_one("table.wikitable.sortable")

for row in table.select("tr + tr"):
    tds=row.text.split(os.linesep)
    print tds

产量

[u'', u'', u'1', u'1', u'Indianapolis Colts', u'Luck, AndrewAndrew Luck\xa0\u2020', u'QB', u'Stanford', u'Pac-12', u'', u'']
[u'', u'', u'1', u'2', u'Washington Redskins', u'Griffin III, RobertRobert Griffin III\xa0\u2020', u'QB', u'Baylor', u'Big 12', u'from St. Louis\xa0[R1 - 1];', u'2011 Heisman Trophy winner\xa0[N 2]', u'']
[u'', u'', u'1', u'3', u'Cleveland Browns', u'Richardson, TrentTrent Richardson\xa0', u'RB', u'Alabama', u'SEC', u'from Minnesota\xa0[R1 - 2]', u'']
[u'', u'', u'1', u'4', u'Minnesota Vikings', u'Kalil, MattMatt Kalil\xa0\u2020', u'OT', u'USC', u'Pac-12', u'from Cleveland\xa0[R1 - 3]', u'']
[u'', u'', u'1', u'5', u'Jacksonville Jaguars', u'Blackmon, JustinJustin Blackmon\xa0', u'WR', u'Oklahoma State', u'Big 12', u'from Tampa Bay\xa0[R1 - 4]', u'']
...

第 dtk

编辑：您实际上只需.splitlines() 即可让Python 正确处理换行符。同时保存 os 导入。

【讨论】：