Python：查找网站语言的脚本

Question

大家好，

我正在尝试用 Python 编写一个程序来自动检查网站语言。我的脚本查看 HTML 标头，确定字符串“lang”出现的位置，然后打印相应的语言。我使用模块“请求”。

request = requests.get('https://en.wikipedia.org/wiki/Main_Page')
splitted_text = request.text.split()
matching = [s for s in splitted_text if "lang=" in s]
language_website = matching[0].split('=')[1]
print(language_website[1:3])

>>> en

我已经在几个网站上对其进行了测试，并且它可以正常工作（假设语言首先在 HTML 中正确配置，这很可能适用于我在研究中考虑的网站）。

我的问题是：是否有更直接/一致/系统的方式来实现相同的目标。如何使用 python 查看 HTML 并返回网站编写的语言？例如使用 lxml 有没有更快的方法（不涉及像我一样解析字符串）？

我知道之前有人问过如何查找网站语言的问题，并且提到了使用HTML头检索语言的方法，但是没有开发，没有代码建议，所以我认为这个帖子是相当不同。

非常感谢！度过美好的一天， 贝尔蒂

Answer 1

你可以试试这个：

import requests

request = requests.head('https://en.wikipedia.org/wiki/Main_Page')
print(request.headers["Content-language"])

Answer 2

如果您有兴趣从页面源获取数据。这可能会有所帮助。

import lxml
request = requests.get('https://en.wikipedia.org/wiki/Main_Page')
root = lxml.html.fromstring(request.text)
language_construct = root.xpath("//html/@lang") # this xpath is reliable(in long-term), since this is a standard construct.

language = "Not found in page source"
if language_construct:
      language = language_construct[0]
print(language)

注意：此方法不会为所有网页提供结果，只会为包含 HTML 语言代码参考的网页提供结果。

更多信息请参考https://www.w3schools.com/tags/ref_language_codes.asp。

Answer 3

结合以上反应

import requests
request = requests.head('https://en.wikipedia.org/wiki/Main_Page')
print(request.headers.get("Content-language", "Not found in page source"))