【问题标题】:How to extract data and generate URL from it?如何提取数据并从中生成 URL?
【发布时间】:2022-01-07 17:09:35
【问题描述】:

我是 stackoverflow 的新手(Hello World!)。我对 JS、C++、HTML 和 CSS 有一些基本的了解,并且我一直在查看这个论坛和其他论坛,但是我在弄清楚这个论坛时遇到了问题,主要是因为我不知道这会被称为什么(TLDR 在底部):

基本上,我想构建一个 chrome 扩展程序,从网站(在本例中,copart - 人们出售汽车的网站)中提取数据并从中创建一个链接,该链接打开另一个窗口,指向三个汽车评估器之一(edmunds ,kbb,纳达)。我把修车作为一种爱好,但是一遍又一遍地输入车辆信息很痛苦,所以我想尽可能地自动化这个过程。希望这对其他人也有帮助。

例如到 edmunds 的通用链接是:https://www.edmunds.com/ford/escape/2018/appraisal-value/?vin=XXXXXXXXXXXXXX。我想知道如何从 copart (Example copart page) 中提取品牌、型号、年份和 VIN。例如,在 Kbb 上,我看到的所有可以自动化的操作是将 vin 输入窗口并单击“开始”。有没有办法让插件自动选择“VIN”并在点击“Go”按钮时将 VIN 复制到字段中?

Kbb

我知道,很多问题。我也不太确定这会叫什么?爬虫?刮刀?一个蹩脚? :)

不管怎样,这里是基本 (TLDR) 问题:

  • 如何创建一个 chrome 插件,从一个网站提取数据,使用该数据打开一个 URL,然后执行诸如切换标签、填充文本框和单击该 URL 上的按钮等操作?

我只在这里提出了这个问题,所以如果有更好的地方可以提出,请告诉我。

标记

【问题讨论】:

  • 看看Chrome WebDriver。这是一个用于自动测试 Web 应用程序的工具,但它可以满足您的需求。
  • 问题的措辞似乎您想要的是通过向指定网站添加自定义行为来扩展浏览器(抓取通常是收集数据和/或自动化事情无需打开浏览器)。如果这是正确的并且您正在寻找构建扩展,我建议您先阅读本指南:developer.chrome.com/docs/extensions/mv3/getstarted /> 您将需要实现一个 内容脚本 来查找品牌/型号/年份/VIN 通过 javascript 查询选择器,然后动态创建一个按钮,单击该按钮将启动 kbb。

标签: html web-scraping google-chrome-extension web-crawler data-extraction


【解决方案1】:

从一个网站中提取数据并在其他网站中搜索更多抓取的数据

1.对于这个项目,您可以结合使用 selenium 和 scrapy

2。由于两者都是由 javascript 提供支持的动态页面,因此确实需要检查安全约束

3.在selenium的支持下,可以在scrapy下使用spider每个spider

4.需要按下可以使用 selenium 实现的 Go 按钮

【讨论】:

    猜你喜欢
    • 1970-01-01
    • 1970-01-01
    • 2020-07-03
    • 1970-01-01
    • 1970-01-01
    • 2013-05-17
    • 2022-01-15
    • 1970-01-01
    • 2020-09-17
    相关资源
    最近更新 更多