Python 请求流答案

【问题标题】：Python Request StreamPython 请求流
【发布时间】：2014-11-18 16:41:02
【问题描述】：

我正在尝试抓取一个似乎动态将一些数据下载到该网站的网站。我想刮。

网站开头是：

<td class="border_TopRight border_Left">
    Text - "TEST_NAME
<td class="border_TopRight">
    Text - TEST_NAME_1
<td class="border_TopRight">
    Text - TEST_NAME_2
<td class="apple dataCell border_TopRight font_green" id="Number of Apples" style="color: #333333; background-color: rgb(255, 255, 255);" rel="Apples ">
    Text - '-'

然后网站将加载信息为：

<td class="border_TopRight border_Left">
        Text - "TEST_NAME
    <td class="border_TopRight">
        Text - TEST_NAME_1
    <td class="border_TopRight">
        Text - TEST_NAME_2
    <td class="apple dataCell border_TopRight font_green" id="Number of Apples" style="color: #333333; background-color: rgb(255, 255, 255);" rel="Apples ">
        Text - '999999.99'

我正在尝试使用 Python 请求和流在加载后获取数据，但我没有取得多大成功。

import requests
from bs4 import BeautifulSoup

tarball_url = xxxxx
r = requests.get(tarball_url, stream=True)

soup = BeautifulSoup(r)

td = soup.findAll('td')

for line in td:
    print(str(line.get_text()))

TEST_NAME
TEST_NAME_1
TEST_NAME_2
 -

有没有办法在网站更新数据单元后抓取数据？它通常在几秒钟内很快。

【问题讨论】：

标签： python request beautifulsoup

【解决方案1】：

我找到了以下链接。这似乎对我很有用。

http://koaning.github.io/html/scapingdynamicwebsites.html

【讨论】：