自动化从网页抓取元素的过程答案

【问题标题】：Automate process of grabbing elements from a webpage自动化从网页抓取元素的过程
【发布时间】：2018-10-24 23:50:07
【问题描述】：

我希望使用 Robot Framework 自动化测试用例以进行网页开发。我有大约 5000 个测试用例字符串来描述不同页面元素的路径。现在我将通过并在网页中获取特定的“id”或“css 选择器”以实现自动化。我的默认选项是手动检查每个按钮、链接、表格等，并将其输入到一个巨大的电子表格中以实现自动化，但我觉得必须有一种不那么费力的方法来提取元素。

我研究了不同的选项，我能找到的最接近解决方案的方法是 python 网络抓取，但据我了解，网络抓取要求元素已经定义，您的目标是提取信息而不是比实际的元素。

有没有人有比检查 5000 个网页元素更简单的解决方案？ ;)

【问题讨论】：

你应该添加一点源代码来解释问题。
感谢您的回复。截至目前，我实际上没有源代码。我手动转到正在构建的网页，检查页面的不同的、可交互的元素（即按钮、链接、表格排序切换），然后将这些元素中的每一个复制并粘贴到路径旁边的电子表格中重新创建动作。
您真的有 5000 个无法动态计算的唯一 Web 元素吗？例如，如果您有一个 50 行 x 10 列的表，您实际上只需要该表的一个标识符，这将允许您遍历行和列。这听起来很像xy 问题，您认为问题在于如何获取 5000 个元素，但真正的问题是不同的。

标签： web-scraping automation automated-tests element webpage

【解决方案1】：

如果您可以将您的页面放在 IFRAME 中，那么您可能会使用 JS（在父级中）等待页面加载，然后在 IFRAME 中获取（所有或特定的）元素。这样，您应该能够获得完全呈现页面的所有元素。

（从来没有这样做过，但应该可以）

【讨论】：