【发布时间】:2019-02-19 20:33:28
【问题描述】:
这是我在这里的第一个问题,所以我会尽力而为。
我正在尝试从一堆域中获取协议和 FQDN(完全限定域名),即从 aliexpress.com 获取 https://es.aliexpress.com。
我已经尝试过 Selenium webdriver,但是计算所有域需要很长时间(即使有很短的超时和阻塞图像)。
我在问是否有人知道在不加载内容的情况下执行此操作的方法,例如 wget 但仅适用于 URL。
感谢您的阅读。
【问题讨论】:
-
你一定是指
aliexpress.com来自https://es.aliexpress.com??? -
不,就像浏览器一样,你在导航栏输入
aliexpress.com,当你发出get请求时,导航栏中会出现https://es.aliexpress.com -
这可能仍然不是适合这项工作的工具...但是您可以尝试使用 selenium 的无头浏览器,这样您就不必通过 UI。它的速度相当快
-
等等,你到底想做什么?因为您要的不是 FQDN?
标签: selenium url selenium-webdriver web-scraping wget