使用beautifulsoup刮掉隐藏在脚本标签后的正确日期

Question

我想从网页上抓取日期，日期的文本（在脚本标签之后）是由 JavaScript 注入的：

<div class="row">
    <span class="LName"><a target="_blank" href="http://google.com">[me too]</a></span>
    <script language="Javascript" type="text/javascript">formatDate('2020,5,23,09,00,00',1)</script>6/23/2020&nbsp;10:00&nbsp;Tuesday
</div>

此标签上的正确日期是 2020 年 6 月 23 日。 我使用 beautifulsoup 创建了代码，但它返回错误的日期：

headers = {'User-Agent': 'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; rv:76.0) Gecko/20100101 Firefox/76.0'}
r = requests.get(u, headers=headers)
soup = BeautifulSoup(r.content, 'html.parser')

我试试：

soup.select('div.row > script')[0].get_text()

返回：

"formatDate('2020,5,23,09,00,00',1)" 

和：

soup.select('div.row')[0].get_text()

返回：

"\n[me too] formatDate('2020,5,23,09,00,00',1)\n" 

当我使用 Chrome 检查标签时，我可以看到脚本标签后面的日期文本

当我执行时：

soup.select('div.row')

它返回没有日期文本的标签

JavaScript 注入的日期文本，我只需要使用 Beautifulsoup 来抓取它，而不是使用 selenium

Answer 1

6/23/2020 的日期是 sibling 到 <script> 标记。您可以使用.find_next_sibling(text=True) 获取此文本。

例如：

txt = '''<div class="row">
    <span class="LName"><a target="_blank" href="http://google.com">[me too]</a></span>
    <script language="Javascript" type="text/javascript">formatDate('2020,5,23,09,00,00',1)</script>6/23/2020&nbsp;10:00&nbsp;Tuesday
</div>'''

soup = BeautifulSoup(txt, 'html.parser')

d = soup.select_one('div.row > script').find_next_sibling(text=True).strip()
print(d)
print(d.split()[0])

打印：

6/23/2020 10:00 Tuesday
6/23/2020