使用 BeautifulSoup 从 Github 页面中提取文件名列表

Question

我正在用 python 编写一个程序，它会扫描我朋友和我自己的 GitHub 页面并显示所有上传文件的名称。我已经设法让它做到这一点。所有文件的名称都在标签下。问题是标签下还有其他随机文本，例如“通过上传添加文件”。我不希望这些出现。任何帮助，将不胜感激。亲切的问候。埃里克

我在打印最终结果时尝试了字符串剥离，但这仍然行不通。

这是我的代码：

import bs4
import requests
from bs4 import BeautifulSoup as soup
import lxml
import re
import time
import os
import webbrowser
import re

def webscrape():
    res = requests.get('https://github.com/Dukesan7/jerichson')
    type(res)
    soup = bs4.BeautifulSoup(res.text, 'lxml')
    type(soup)
    file = soup.select('a')
    file[1].getText()
    time.sleep(1)
    files = str(file)
    clean = re.compile('<.*?>')
    files = re.sub(clean, '', files)
    print (files)
    time.sleep(1)
    print ("1. Main Menu: 1")
    print ("2. exit?: 2")
    op = input (":")
    if op == "2":
        exit()
    else:
        MainMenu()

Answer 1

您的代码的简化版本：

from bs4 import BeautifulSoup as bs
import requests

res = requests.get('https://github.com/Dukesan7/jerichson')    
soup = bs(res.text, 'lxml')   
file = soup.find_all('a',class_="js-navigation-open")
for i in file:
    if '.' in i.text:
        print(i.text)

提供此输出：

21s.py
BVVVVV.exe
Calling Casino.py
Game Download Link.txt
Homework.py
Password Username System.py
Puzzle.txt
StopWatch.py
Voting ligitimacy system.py
Vowl counter.py
agenotage.py
coin.py
dice.py
explorer reset.bat
name and age dukesan.py
notification.pyw
reminder.py
win 21 game.py

这就是你要找的吗？

Answer 2

如果您在浏览器中使用检查器，您可以尝试查找所有文件/文件夹名称共有的类和/或标签。我发现它们都在 td 元素中，其类为 content，它有一个 tr 元素，类 js-navigation-item 为父类：

因此您可以在 BeautifulSoup 中使用以下选择器：tr.js-navigation-item > td.content

请注意，您可以使用 elem.text 语法简单地提取 HTML 元素的文本。使用 Regex 不适合剥离 HTML 标签。

工作实施：

res = requests.get('https://github.com/Dukesan7/jerichson')
soup = bs4.BeautifulSoup(res.text, 'lxml')
files_list = soup.select('tr.js-navigation-item > td.content')
files_list_text = [f.text.strip() for f in files_list]
print(files_list_text)

输出：

['Google2', 'Maths Game', 'OpenMinecraft', '21s.py', 'BVVVVV.exe', 'Calling Casino.py', 'Game Download Link.txt', 'Homework.py', 'Password Username System.py', 'Puzzle.txt', 'StopWatch.py', 'Voting ligitimacy system.py', 'Vowl counter.py', 'agenotage.py', 'coin.py', 'dice.py', 'explorer reset.bat', 'name and age dukesan.py', 'notification.pyw', 'privilege_escalation', 'reminder.py', 'win 21 game.py']