网页抓取嵌套文本功能

Question

我正在尝试为在线绘图的轴以及与之相关的一些功能（例如文本的颜色）抓取文本，但很少使用抓取，因此非常感谢您的帮助。对于经常使用刮板的人来说，这可能是一个简单的解决方法。这是我的代码：

from bs4 import BeautifulSoup
import requests

def get_IPF_transcriptome_groups():

url = "https://research.cchmc.org/pbge/lunggens/lungDisease/celltype_IPF.html?cid=1"
r = requests.get(url)
data=r.text
soup = BeautifulSoup(data)


for d in soup.find('div', attrs={'id':'wrapper'}).find(
        'div', attrs={'class':'content'}).find(
                'div', attrs={'id':'ResPanel'}).find(
                        'table', attrs={'id':'maintable'}).find(
                                'tbody'):
    print(d)

我收到一个错误：

    'tbody'):

    TypeError: 'NoneType' object is not iterable

我认为代码无法通过表体。我要解析的实际文本通过其他几个标签（包括“div”、“td”、“tr”、“g”等）隐藏得更深一些，如下所示：

<tspan style="fill:#006600;font-size:7px;">CC002_33_N709_S503_C10</tspan>

其中“CC002_33_N709_S503_C10”是示例参考，“#006600”是指颜色。有（我认为）540行这样的。如果有人可以提供帮助，那真的很棒吗？非常感谢

根据 Uday 的回复进行编辑：

感谢您的建议，我已经在其中内置了“findAll”并使用索引来检索下一个片段。这个建议here 提到删除“tbody”标签，因为它可能不是源代码的一部分。只是添加'tspan'似乎并没有返回我需要的东西。这是我更新的代码：

    for d in soup.find('div', attrs={'id':'wrapper'}).find(
        'div', attrs={'class':'content'}).find(
                'div', attrs={'id':'ResPanel'}).find(
                        'table', attrs={'id':'maintable'}).findAll(
                                'tr')[2].findAll('td')[0].find('div', attrs={'id':'sigheatmapcontainer'}): 
                                        print(d)

任何进一步的建议会真的很有帮助吗？

Answer 1

您想要的数据是通过 JavaScript 使用 POST 请求从另一个 URL 获取的。 （它不在此网页页面的源代码 (HTML) 中，甚至不会使用 Dryscrape 进行渲染。）它以 JSON 格式返回，这很好且易于解析。以下代码将获取所有数据。如何解释数据是另一个问题，但也许你比我更清楚。

from bs4 import BeautifulSoup
import requests
import json
# Fetch the data.
url = "https://research.cchmc.org/pbge/lunggens/celltypeIPF"
r = requests.post(url, data = {'id':'1'})
data=r.text
soup = BeautifulSoup(data, "lxml")
d = soup.find('p')
# now you have the json containing all the data.
jn = json.loads(d.text)
print(json.dumps(jn, indent=2))

输出漂亮打印的原始数据。

您可以按照您想要的方式解析 JSON，例如如果你喜欢熊猫

from pandas.io.json import json_normalize
import pandas as pd
...
df = pd.DataFrame(json_normalize(jn))