为什么这个搜索 URL 在复制和粘贴时会重定向到不同的搜索 URL？答案

【问题标题】：Why does this search URL redirect to a different search URL when copied and pasted?为什么这个搜索 URL 在复制和粘贴时会重定向到不同的搜索 URL？
【发布时间】：2021-04-09 04:34:38
【问题描述】：

关于 URL 行为古怪的网络抓取相邻问题。

如果我去 glassdoor 求职并输入 6 个字段（奥斯汀、“工程经理”、全职、确切的城市等）。我得到一个包含 38 个结果的结果页面。这是我得到的链接。理想情况下，我想保存此链接及其搜索条件并稍后参考。

https://www.glassdoor.com/Job/jobs.htm?sc.generalKeyword=%22engineering+manager%22&sc.locationSeoString=austin&locId=1139761&locT=C?jobType=fulltime&fromAge=30&radius=0&minRating=4.00

但是，如果我复制该确切链接并将其粘贴到新选项卡中，它不会按预期运行。

它重定向到这个不同的链接，保留一些标准但丢失了位置标准，从全国各地而不是奥斯汀带来了数千个结果。

https://www.glassdoor.com/Job/jobs.htm?sc.generalKeyword=%22engineering+manager%22&fromAge=30&radius=0&minRating=4.0

我知道我可以使用 selenium 来选择所有 6 个字段，我只是想了解这里发生了什么，并知道是否有解决方案只涉及使用 URL。

【问题讨论】：

标签： python url web-scraping

【解决方案1】：

URL 的更改似乎发生在处理请求的服务器上。我认为这就是它在服务器端端点上的配置方式，以修剪额外的参数并将您重定向到另一个URL。您对此无能为力，因为无论您如何传递它，它总是会解析为第二种 URL 格式。

我也尝试过URL shortener，但同样的行为仍然存在。

解决此问题的唯一方法是使用 Selenium 等自动化来启用相同的行为来选择和显示来自第一个 URL 的结果。

【讨论】：