【问题标题】:How to Check Website Content type in python [closed]如何在python中检查网站内容类型[关闭]
【发布时间】:2019-12-31 05:24:42
【问题描述】:

如何在 python 中检查网站内容类型

import requests
from bs4 import BeautifulSoup as bs

headers = { 'User-Agent': 'Mozilla/5.0',
            'Content-Type': '???',
            'Referer': 'https://www.manta.com/mb_43_A0_02/advertising_and_marketing/alaska?fbclid=IwAR3gfnW_bma08cITjmctgdcS5hLRau0vwl6WJHXdbwL9U3FkxIgrLkOG5rs',
            'X-Requested-With': 'XMLHttpRequest'}

如何在 python 中查找内容类型我想抓取这个网站:

https://www.manta.com/mb_43_A0_02/advertising_and_marketing/alaska?fbclid=IwAR3gfnW_bma08cITjmctgdcS5hLRau0vwl6WJHXdbwL9U3FkxIgrLkOG5rs

【问题讨论】:

标签: python web-scraping web-crawler


【解决方案1】:

如果您不指定该标头,请求库将默认发送:

'内容类型': '文本/html; charset=UTF-8'

...对于向指定的 URL 发出 HTTP GET 请求应该没问题。

【讨论】:

    猜你喜欢
    • 2020-05-22
    • 2021-11-16
    • 1970-01-01
    • 2019-12-11
    • 2013-05-17
    • 2012-05-22
    • 2018-02-25
    • 2018-01-31
    • 1970-01-01
    相关资源
    最近更新 更多