如果链接不包含.pdf，如何测试链接目标是否为pdf文件

Question

我正在使用 selenium 抓取一堆以混合格式和样式提供的文件 - 尝试同时处理 html 和 pdf，当链接的目标是 pdf 时我遇到了一个问题文件，但链接本身不包含“.pdf”e.g.、and（请注意，一个会自动下载，一个只显示文件 - 至少在 chrome 中 - 所以可能需要对两种不同的pdf 目标的类型？）

有没有办法以编程方式判断链接的目标是否为 pdf，这比仅检查它是否以 .pdf 结尾更智能？

无论内容如何，​​我都不能只下载文件，因为我对 html 文件有不同的处理，我想在其中跟踪辅助链接，看看是否可以找到 pdf，如果目标是直接pdf。

ETA：接受的答案非常有效 - 链接的潜在欺骗是用于在文件系统上进行测试，而不是用于下载，所以我认为这不是有效的，当然下面的答案更适合这种情况。

Answer 1

Selenium（或 Chrome）检查 'Content-Type' 标头并选择要执行的操作。您也可以自己使用requests 来检查网址的'Content-Type'，如下所示：

>>> r = requests.head('https://resus.org.au/?wpfb_dl=17')
>>> pprint.pprint(dict(r.headers))
{'Accept-Ranges': 'bytes',
  'Age': '8518',
  'Cache-Control': 'no-cache, must-revalidate, max-age=0',
  'Connection': 'keep-alive',
  'Content-Description': 'File Transfer',
  'Content-Disposition': 'attachment; '
  'filename="anzcor-guideline-6-compressions-apr-2021.pdf"',
    'Content-Length': '535677',
  'Content-Md5': '90AUQUZu0vFGJ7cBPvRxcg==',
  'Content-Security-Policy': 'upgrade-insecure-requests',
  'Content-Type': 'application/pdf',
  'Date': 'Wed, 19 Jan 2022 11:20:06 GMT',
  'Expires': 'Wed, 11 Jan 1984 05:00:00 GMT',
  'Last-Modified': 'Wed, 19 Jan 2022 08:58:08 GMT',
  'Pragma': 'no-cache',
  'Server': 'openresty',
  'Strict-Transport-Security': 'max-age=300, max-age=31536000; '
  'includeSubDomains',
    'Vary': 'User-Agent',
  'X-Backend': 'local',
  'X-Cache': 'cached',
  'X-Cache-Hit': 'HIT',
  'X-Cacheable': 'YES:Forced',
  'X-Content-Type-Options': 'nosniff',
  'X-Xss-Protection': '1; mode=block'}

如你所见，你的两个链接的'Content-Type'都是'application/pdf'：

>>> r.headers['Content-Type']
'application/pdf'

所以你可以只检查requests.head(link).headers['Content-Type'] 的输出，然后做任何你需要的事情。

---

此时（2022 年 1 月 19 日），您问题中的第一个链接将我重定向到 404 页面。第二个仍然可以访问，但需要使用HTTPS协议，将链接的开始部分从http://更改为https://。

但无论如何，如果 URL 没有将您重定向到任何其他页面，则此答案不会过时。如果 URL 是，请通过检查 status_code 来请求最新的 URL，如果它是 301：

>>> r = requests.head('http://resus.org.au/?wpfb_dl=17')
>>> r.status_code
301
>>> r = requests.head('https://resus.org.au/?wpfb_dl=17')
>>> r.status_code
200
>>>