自动解析网站答案

【问题标题】：Automatically Parse a Website自动解析网站
【发布时间】：2018-02-02 02:53:53
【问题描述】：

我有个想法，想看看能不能实现。我想解析一个网站（copart.com），该网站每天显示不同的大型汽车列表，每辆车都有相应的描述。每天，我的任务是检查每个列表（每个列表包含数百辆汽车）并选择满足特定要求（品牌、年份等）的每辆汽车。我想知道是否有可能创建一个工具来自动解析这些列表，然后选择符合我标准的汽车。我在想像 ParseHub 之类的网站抓取工具之类的东西，但我并不想提取数据。我只是想要一个可以浏览网站并自动单击每辆符合我标准的汽车上的“选择”按钮的工具。这将每天为我节省大量时间。谢谢。

【问题讨论】：

在这种情况下，selenium 可以满足您的需求，它可以模拟浏览器的行为
好吧，如果你想根据标准从网站上选择汽车，你必须首先从页面中提取相关数据，以便能够将它们与你的标准进行比较......你想怎么做接下来是另一个问题。如果您想获取选定汽车的 URL 列表，Scrapy 是正确的工具。

标签： web-scraping scrapy screen-scraping web-site-project scrapinghub

【解决方案1】：

我认为您可以使用selenium 完成此任务。它会自动打开 Web 浏览器，您可以使用 xPath 定位元素并单击选择按钮。我以前为一些家庭公用事业网站做过。

【讨论】：

【解决方案2】：

Scrapy 是为此设计的好工具。根据网页的呈现方式，您可能需要也可能不需要像 Selenium 这样的附加工具。提交或“选择”按钮通常只是可以使用 HTML 请求跟踪的链接，无需额外的浏览器模拟工具。如果您可以发布一些示例 HTML，我们可以为您提供更多细节。

【讨论】：