Python requests.get 显示 404 而 url 确实存在答案

【问题标题】：Python requests.get showing 404 while url does existsPython requests.get 显示 404 而 url 确实存在
【发布时间】：2014-09-15 02:19:30
【问题描述】：

http://www.leboncoin.fr/montres_bijoux/671762293.htm

我正在尝试打开这个网址

import requests
s = requests.Session()
s.headers['User-Agent'] = 'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Ubuntu Chromium/34.0.1847.116 Chrome/34.0.1847.116 Safari/537.36'
s.headers['Host'] = 'www.leboncoin.fr'
url = 'http://www.leboncoin.fr/montres_bijoux/671762293.htm'
r = s.get(url)
print r.text

当我运行这个脚本时，它会在我的终端中显示这个错误，

<!DOCTYPE HTML PUBLIC "-//IETF//DTD HTML 2.0//EN">
<html><head>
<title>404 Not Found</title>
</head><body>
<h1>Not Found</h1>
<p>The requested URL /montres_bijoux/671762293.htm  was not found on this server.</p>
</body></html>

虽然我可以在浏览器中打开相同的 url 并查看内容。

可能是什么问题？？

【问题讨论】：

你能说明你在哪里设置url的值吗？您要确保它是完整的 URL（例如 domain.com/asdasd），而不仅仅是路径部分。
@okoboko ：实际上这段代码在函数中，它接受一个参数，即 url。
实际上我在 ipython shell 中做了同样的事情，它也对我有用，但是当我在文件中执行相同的代码时它显示上述错误？
“在文件中执行相同的代码”是什么意思？您如何以及在哪里运行它？
我创建了一个新文件test.py 并在其中放入相同的代码，然后以python test.py 执行该文件

标签： python session python-2.7 python-requests

【解决方案1】：

甚至无需等待您的测试，我就非常有信心知道您的错误是什么。

我手动将此 url 放入函数调用中，它工作正常，但如果我读取该文件并使用该 url 直接调用函数，给我错误。我在读取文件时进行了 3-4 次检查，即使我尝试在被调用函数中打印该 url 并且我也在函数中接收该 url，url 也完美地来自文件。仍然不知道发生了什么？

您很可能正在使用 for line in file: 或 file.readline 或其他保留换行符的函数读取 URL。所以，你最终得到的不是这个：

url = 'http://www.leboncoin.fr/montres_bijoux/671762293.htm'

……但是这个：

url = 'http://www.leboncoin.fr/montres_bijoux/671762293.htm\n'

后者将被requests 转义为不存在的资源的完美 URL，因此出现 404 错误。

最好的检查方法是print repr(url) 而不是print(url)。这还将发现其他可能的问题，例如嵌入的不可打印字符。它不会找到所有内容，例如看起来像 . 但实际上不是的 Unicode 字符，但这是一个很好的第一次测试。（如果没有找到它，对于第二次测试，将输出、引号和所有内容复制并粘贴到您的测试脚本中。）

如果是这个问题，解决方法很简单：

url = url.rstrip()

【讨论】：