如何使用 Google Sheets/Google Apps 抓取网站源代码？

Question

我需要导入一些隐藏在网站源代码中的数据。 S

由于此特定信息未显示在页面上，因此我无法使用 xpath。我认为将整个源代码导入 Google 表格并逐步提取所需数据会更容易。您能否提出最佳解决方案？

Answer 1

尽管肉眼看不到数据，但仍可通过XPath 访问。发生这种情况是因为信息可能仍然是 DOM 中“节点”的一部分；尽管那些被样式设置为隐藏。您可以通过parsing the HTML 导航这些节点。

除此之外，另一个很好的解决方案是使用正则表达式。您可以将此解决方案与上述结合使用。如果您选择这种方式，我建议您使用以下链接：

• Using regular expressions in Google Apps Script。在 GAS 中使用正则表达式的概述。
• Online regex tester and debugger。对测试正则表达式非常有用。

最后，可能是使用 Javascript 动态加载数据。如果是这种情况，您将无法仅通过向网页发出标准 HTTP 请求来获取数据，而是必须了解正在发生的请求，并在可能的情况下自己从 GAS 请求它们。

如果这不能解决您的问题，请考虑分享您尝试从中获取数据的网页示例，以便我们提供量身定制的答案。