需要 Python Web Scraping 解决方案建议

Question

我想知道什么是最好/首选的 PYTHON 3.x 解决方案（执行速度快、易于实施、指定用户代理的选项、将浏览器和版本等发送到网络服务器以避免我的 IP 被列入黑名单）抓取以下所有选项的数据（根据我的理解基于复杂性提及）。

1. 任何带有表格/Div 中数据的静态网页
2. 动态网页，一键加载
3. 需要使用用户名密码登录并在我们登录后一次性完成加载的动态网页。 用户名密码的示例 URL：https://dashboard.janrain.com/signin?dest=http://janrain.com
4. 动态网页，需要使用来自流行服务（如 LinkedIn、google 等）的 oauth 登录，并在我们登录后一次性完成加载。我了解这涉及一些页面重定向、令牌处理等。 基于 oauth 的登录示例 URL：https://dashboard.janrain.com/signin?dest=http://janrain.com
5. 上面的所有要点 4 与选择某些下拉列表的选项相结合（比如“按日期排序”）或可能涉及选择某些复选框，显示的动态数据会根据这些复选框发生变化。 在执行复选框/下拉菜单的操作后，我需要抓取数据，因为任何用户都会这样做以更改动态数据的显示 示例网址 - https://careers.microsoft.com/us/en/search-results?rk=l-seattlearea 您可以选择下拉菜单以及页面中的某些复选框
6. 具有 Ajax 加载的动态网页，其中数据可以保持加载为 => 6.1 我们像 facebook、twitter 或linkedin 主页一样继续向下滚动以获取数据 示例 URL - facebook、twitter、链接等 => 6.2 或者我们继续单击 ajax 容器末尾的一些按钮/div 以获取下一组数据； 示例网址 - https://www.linkedin.com/pulse/cost-climate-change-indian-railways-punctuality-more-editors-india-/ 在这里，如果您需要查看和抓取所有 cmets，则必须单击页面底部的“显示以前的评论”

我想学习和构建一个精疲力竭的抓取解决方案，可以根据需要进行调整，以满足从要点 1 的简单任务到上面要点 6 的复杂任务的所有选项。

Answer 1

1. 我建议您使用 BeautifulSoup 来解决您的问题 1 和 2。
2. 对于 3 和 5，您可以使用 Selenium WebDriver（作为 python 库提供）。 使用 Selenium，您可以执行所有可能的操作（例如登录、更改下拉值、导航等），然后您可以通过 driver.page_source 访问 Web 内容（您可能需要使用 sleep 功能等到内容已满载）
3. 对于 6，您可以使用他们自己的 API 来获取新闻提要列表及其链接（大多数返回的对象都带有指向特定新闻提要的链接），一旦您获得链接，您就可以使用 BeautifulSoup 来获取 Web 内容。

注意：请在抓取之前阅读每个网站的条款和条件，因为其中一些提到自动数据收集是不道德的行为，我们不应该以专业的身份去做。

Answer 2

Scrapy 适合您，如果您正在寻找真正可扩展的防弹解决方案。实际上scrapy框架是python爬取任务的行业标准。

顺便说一句：我建议您避免使用 JS 渲染：所有这些东西（chromedriver、selenium、phantomjs）都是抓取网站的最后选择。 您可以通过伪造所需的请求来简单地解析大多数 ajax 数据。 只需在 Chrome 的“网络”标签上多花点时间。