模拟和测试从 url 返回文本的函数

Question

我有一个函数，它接受一个 url 并从这个 url 返回文本。

def extract_raw_text_from_url(url, set_parser='lxml'):

    try:
        req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})  # Set user agent as Mozilla. Otherwise: Error 403
        source = urlopen(req).read()  # Return source code

        parser = set_parser
        soup = bs.BeautifulSoup(source, parser)  # create beautiful soup object

        text = soup.get_text()  # get text of websites

    except (ValueError): # ToDo: Why urllib.error.URLError is unknown? I want to include it in exception! Works in Colab!
        text = []

    return text

如何正确测试此功能？因为我认为每次运行测试时都发出请求是不好的做法，所以我认为模拟结果是个好主意。

知道怎么做吗？我正在使用 pytest，但我还是个初学者。

Answer 1

我认为这取决于你想测试什么，如果你想测试请求，你应该每次都执行一个请求（实际上网页可能会从一天变为另一天，它会考虑到这一点）。

如果您想测试给定 html 输入的解析过程，我认为您可以下载 html 页面并将其放在测试中的 assets （或其他）文件夹中，而不是您可以尝试使用

url = "assets/mywebpage1.html"
with open(url, 'r') as f:
   source = f.read()
   #...

编辑： 我认为可以采用两种方法：

1. 将 2 个操作划分为两个不同的函数并仅测试 parse_content_from_html(source) 其中 source 是在测试例程中如上例所示获得的

def extract_raw_text_from_url(url, set_parser='lxml'):
    try:
        req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})
        source = urlopen(req).read()  # Return source code
        text = parse_content_from_html(source)
    except (ValueError): 
        text = []

    return text

def parse_content_from_html(source):
    parser = set_parser
    soup = bs.BeautifulSoup(source, parser)  # create beautiful soup object
    text = soup.get_text()  # get text of websites
    return text

1. 使用标志来区分本地 html 加载和远程加载。您可以使用extract_raw_text_from_url("assets/mywebpage1.html", ..., local=True)

def extract_raw_text_from_url(url, set_parser='lxml', local=False):

    try:
        if local:
            with open(url, 'r') as f:
                source = f.read()
        else:
            req = Request(url, headers={'User-Agent': 'Mozilla/5.0'})  # Set user agent as Mozilla. Otherwise: Error 403
            source = urlopen(req).read()  # Return source code

        parser = set_parser
        soup = bs.BeautifulSoup(source, parser)  # create beautiful soup object

        text = soup.get_text()  # get text of websites

    except (ValueError): 
        text = []

    return text