需要帮助减少抓取动态内容的执行时间

Question

我目前正在使用 Selenium (chrome) 从网站上抓取动态内容，但自动浏览器的处理时间过长。 （我正在抓取的个人资料页面上有一个“查看更多”按钮，每次点击它只加载 5 个帖子）没有其他方法可以访问这些“隐藏”帖子而不点击“查看更多”按钮，它手动单击按钮以检索不久前的帖子需要太长时间。关于如何加快这个过程的任何想法？

网址：https://r1.community.samsung.com/t5/user/viewprofilepage/user-id/5045

Answer 1

查看页面，有接受offset 和limit 参数的URL。有了这个，您可以一次收到许多消息。您可以将其放入循环中，增加offset 参数并获取所有没有硒的消息：

    from bs4 import BeautifulSoup
    import requests

    url = 'https://r1.community.samsung.com/t5/user/viewprofilepage/user-id/5045'

    user_id = url.split('/')[-1]
    posts_url = 'https://r1.community.samsung.com/plugins/custom/samsung/samsungelamer2/custom.profile-activity?type=posts&offset={}&limit={}&currentUser={}'

    offset = 0
    limit = 100

    soup = BeautifulSoup(requests.get(posts_url.format(offset, limit, user_id)).text, 'lxml')

    for i, (subject, message_body) in enumerate(zip(soup.select('.message-subject'), soup.select('.lia-message-body-content')), 1):
        print('Message {}'.format(i))
        print('Subject:\n', subject.text.strip())
        print('Message body:\n', message_body.text.strip())
        print('*' * 120)

打印：

    Message 1
    Subject:
     안드로이드 Q Beta 프리뷰 5 새로운 제스쳐
    Message body:
     안드로이드 Q O ...

    ...and so on.