Urllib2 执行时请求不起作用答案

【问题标题】：Requests doesn't work while Urllib2 doesUrllib2 执行时请求不起作用
【发布时间】：2015-03-22 20:35:28
【问题描述】：

我有一个非常简单的例子，我认为requests 应该替换urllib2 没有问题。但是，似乎在最简单的情况下，我错过了一些东西。谁能告诉我为什么？（我正在尝试为我的GF获取makeup pricing：）

from bs4 import BeautifulSoup
myurl = 'http://www.lancome-usa.com/skincare-cleanse/skincare-cleanse,default,sc.html'

# 1. urllib2
import urllib2
r = urllib2.urlopen(myurl)
soup = BeautifulSoup(r)
print 'MOUSSE RADIANCE' in soup.text.encode('utf-8').upper()
print '$32.00' in soup.text.encode('utf-8')

print '------------------------------------------------------'

# 2. requests
import requests
r = requests.get(myurl)
soup = BeautifulSoup(r.text)
print 'MOUSSE RADIANCE' in soup.text.encode('utf-8').upper()
print '$32.00' in soup.text.encode('utf-8')

回复：

True
True
------------------------------------------------------
False
False

最后，我升级了我的requests 库，同时我意识到使用r.text 是行不通的。但是使用r.text.encode('utf-8') 和r.content 将构建具有正确内容的汤。

【问题讨论】：

当您使用r.raw 而不是r.text 时是否有效？
对我有用，您使用的是什么版本的请求？

标签： python python-2.7 web-scraping urllib2 python-requests

【解决方案1】：

您需要升级您的requests版本，您也可以获取"product-name"标签中的所有产品：

import requests
r = requests.get(myurl)
soup = BeautifulSoup(r.content)
products = {x.text.strip().lower() for x in soup.find_all("div",{"class":"product-name"})}

print("mousse radiance" in products)

for p in products:
    print(p)

True

crème radiance
crème douceur
absolue precious pure
mousse radiance
crème mousse confort
eau fraîche douceur
tonique confort
tonique pure focus
gel radiance

我使用的是 2.5.3：

In [8]: import requests

In [9]: requests.__version__
Out[9]: '2.5.3'

您可以创建产品和价格的字典，以便您的女朋友可以让您购买她的多种产品：

products = [x.text.strip().lower() for x in soup.find_all("div",{"class":"product-name"})]
prices = [x.text for x in soup.find_all("span",{"class":"product-sales-price"})]

items = dict(zip(products,prices))
print(items.get("mousse radiance","N/A"))
print(items)

$32.00
{u'cr\xe8me radiance': u'$25.00 - $37.00', u'cr\xe8me douceur': u'$25.00 - $37.00', u'absolue precious pure': u'$58.00', u'mousse radiance': u'$32.00', u'cr\xe8me mousse confort': u'$25.00', u'eau fra\xeeche douceur': u'$38.00 - $51.00', u'tonique confort': u'$25.00 - $44.00', u'tonique pure focus': u'$25.00', u'gel radiance': u'$25.00'}

【讨论】：