通过beautifulsoup 抓取javascript 响应，可能吗？

Question

服务器返回以下响应，显然是 javascript 内容，我想抓取它，但我无法做到。

Element.update("to_users2", "\n\n\n

\n

\n 选择成​​员\n

\n

\n

全选 添加 \n\n \n \n \n

TestUserOne 添加 \n\n \n \n \n

TestUserTwo 添加\ n\n \n \n \n \n \n\n\n\n");

基本上，我尝试了多种可能性，例如将响应对象转换为字符串，然后替换所有\n 等等，然后使用生成的html 我还尝试使用requests_html，这几乎让我期待结果，但仍然无法获得预期的结果。在这种情况下，我希望刮掉a 标签中的add_recipient(2) 和a 标签文本TestUserOne。在requests_html，我可以这样做：

htm = '''Element.update("to_users2", "\n\n\n<div class="label-field-pair">\n <div class="label-field-pair11">\n <label for="student_grade">Select member\n <div class ="scrolable" >\n <div class="scroll-inside">\n <div class="hover"><a href="#" class="all" onClick="add_all_recipient('2,4')">Select all Add \n\n \n \n \n <div class="hover"><a href="#" before="Element.show('loader')" class="individual" onClick="add_recipient(2)" success="Element.hide('loader')">TestUserOne Add \n\n \n \n \n <div class="hover"><a href="#" before="Element.show('loader')" class="individual" onClick="add_recipient(4)" success="Element.hide('loader')">TestUserTwo Add \n\n \n \n \n \n \n\n\n\n");'''

html = HTML(html=htm)
print(html.find('a'))

它给出了输出

<Element 'a' href='\\"#\\"' before='\\"Element.show(\'loader\')\\"' class=('\\"individual\\"',) onclick='\\"add_recipient(4)\\"' success='\\"Element.hide(\'loader\')\\"'>,

在这里，我想抓取onclick 的值，从而在此上下文中获得a 标记文本，如TestUserOne Add。

从这里到哪里？尝试了所有可能性，但无济于事。任何帮助将不胜感激。

【问题讨论】：

Answer 1

我认为使用 BeautifulSoup 解析 JavaScript 值是不可能的。一种解决方案是使用正则表达式：

ma​​in.py

import re

resp = """
Element.update("to_users2", "\n\n\n<div class="label-field-pair">\n <div class="label-field-pair11">\n <label for="student_grade">Select member\n <div class ="scrolable" >\n <div class="scroll-inside">\n <div class="hover"><a href="#" class="all" onClick="add_all_recipient('2,4')">Select all Add \n\n \n \n \n <div class="hover"><a href="#" before="Element.show('loader')" class="individual" onClick="add_recipient(2)" success="Element.hide('loader')">TestUserOne Add \n\n \n \n \n <div class="hover"><a href="#" before="Element.show('loader')" class="individual" onClick="add_recipient(4)" success="Element.hide('loader')">TestUserTwo Add \n\n \n \n \n \n \n\n\n\n");
"""

print(re.findall(r"add_recipient\(([0-9+])\)\" success=.+>([a-zA-Z0-9\w]+) Add", resp))

$ python main.py
[('2', 'TestUserOne'), ('4', 'TestUserTwo')]