如何使用 python 爬虫到达 <span> 标签内的 dipper div？

Question

body 标签有一个<span> 标签。 span 标签内还有很多其他的 div。我想去北斗但是当我尝试这段代码时：

from bs4 import BeautifulSoup
from urllib.request import urlopen

url = 'https://www.instagram.com/artfido/'
data = urlopen(url)
soup = BeautifulSoup(data, 'html.parser')
result = soup.body.span
print (result)

结果就是这样：

<span id="react-root"></span>

如何访问 span 标签内的 div？

我们可以解析<span> 标签吗？是否可以？如果是，那为什么我无法解析跨度？

通过使用这个：

    result = soup.body.span.contents

输出是：

[]

Answer 1

正如 cmets 中所说， urlopen(url) 返回一个类似对象的文件，这意味着如果您想获取其中的内容，则需要从中读取。

from bs4 import BeautifulSoup
from urllib.request import urlopen

url = 'https://www.instagram.com/artfido/'
data = urlopen(url)
soup = BeautifulSoup(data.read(), 'html.parser')
result = soup.body.span
print (result)

我用于我的 python 2.7 设置的代码：

from bs4 import BeautifulSoup
import urllib2

url = 'https://www.instagram.com/artfido/'
data = urllib2.urlopen(url)
soup = BeautifulSoup(data.read(), 'lxml')
result = soup.body.span
print result

编辑
为了将来参考，如果您想要更简单的处理 url，有一个名为 requests 的包。在这种情况下，它是相似的，但我发现它更容易理解。

from bs4 import BeautifulSoup
import requests

url = 'https://www.instagram.com/artfido/'
r = requests.get(url)
data = r.text
soup = BeautifulSoup(data, 'lxml')
result = soup.body.span
print result