尝试从从网站提取的列表中创建数据框

Question

我正在尝试制作数据框，以便能够引用它以进行进一步的数据提取。我被困在如何做到这一点上，我的代码是这样的：

import bs4 as bs
import urllib.request
import pandas as pd


source = urllib.request.urlopen('https://messageboards.webmd.com/').read()

soup = bs.BeautifulSoup(source,'lxml')

for url in soup.find_all('div',class_="link"):
    print (url.a.get('href'))

df = pd.DataFrame(columns = ['link'],[for url in soup.find_all('div',class_="link"):])

Answer 1

你可以这样：

df = pd.DataFrame(columns=['link'],
            data=[url.a.get('href') for url in soup.find_all('div',class_="link")])

Answer 2

如果您不需要 pandas 来清理数据，只需将数据保存到 txt 或 csv 文件中

with open('save.txt', 'w') as f:
    for url in soup.find_all('div',class_="link"):
        print (url.a.get('href'), file=f)