使用 Beautifulsoup 和 Selenium 从包含特定单词的网页中获取链接

Question

我编写此代码是为了登录我的 FB 帐户并使用 Selenuim 和 BeautifulSoup 获取页面上的所有群组链接，但 BeautifulSoup 的使用无法正常工作。

我想知道如何在同一代码中使用 Selenuim 和 BeautifulSoup。

我不想使用 Facebook API；我想使用 Selenium 和 BeautifulSoup。

from selenium import webdriver
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.common.by import By
import httplib2
from BeautifulSoup import BeautifulSoup, SoupStrainer


usr = raw_input('--> ')
pwd = raw_input('--> ')
poo = raw_input('--> ')

driver = webdriver.Firefox()
# or you can use Chrome(executable_path="/usr/bin/chromedriver")
driver.get("https://www.facebook.com/groups/?category=membership")
assert "Facebook" in driver.title
elem = driver.find_element_by_id("email")
elem.send_keys(usr)
elem = driver.find_element_by_id("pass")
elem.send_keys(pwd)
elem.send_keys(Keys.RETURN)

scheight = .1
while scheight < 9.9:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight/%s);" % scheight)
    scheight += .01
soup = BeautifulSoup(html)
http = httplib2.Http()
status, response = ('https://www.facebook.com/groups/?category=membership')

count = 0
for link in BeautifulSoup(response, parseOnlyThese=SoupStrainer('a')):
     count = count + 1
print 'Count: ', count 

for tag in BeautifulSoup(('a')):
    if link.has_key('href'):
        if '/groups/' in link['href']:

          print link['href']


elem = driver.find_element_by_css_selector(".input.textInput")
elem.send_keys(poo)
elem = driver.find_element_by_css_selector(".selected")
elem.send_keys(Keys.RETURN)
elem.click()
time.sleep(5)

Answer 1

你从未声明过html。

Selenium 的 webdriver 有一个 page_source 可以使用的方法：

soup = BeautifulSoup(driver.page_source)

更新第二个错误

你的电话，

status, response = ('https://www.facebook.com/groups/?category=membership')

正在尝试将该字符串分配给status 和response。没有什么可以分配给 response，因此该变量是未定义的。

Answer 2

我认为 BeautifulSoup 没有返回链接吗？

我确实在 BeautifulSoup 中找到了链接

soup = BeautifulSoup( html )
for i in soup.find_all( 'a' ):
if '/groups/' in i.get( 'href' ):
    print( i.get( 'href' ) )