无法抓取数据

Question

我刚刚开始使用 Google Apps 脚本。由于最佳编码实践建议使用尽可能少的表格公式，因此我尝试使用 GAS Parser 进行网络抓取，然后将数据推送到我的电子表格中。

在我的工作表中，使用以下公式返回一个数据表，这正是我从 GAS 中寻找的数据。

=IMPORTHTML("https://finance.yahoo.com/quote/BOO.L/history?p=BOO.L", "table", 1)

here 和here 这两个问题很相似，但尝试这些方法也失败了。似乎我没有得到完整的页面内容，因为当我在下面的代码之后查看 Logger.log() 中的数据时，我没有得到任何类似于我需要的页面的内容。

UrlFetchApp.fetch(url).getContentText();

由于运行公式似乎可以完美地获取数据，我只能假设我自己的代码存在问题，但无法确定问题出在哪里。这是我迄今为止尝试过的代码；

function scrapeData() {
var url = "https://finance.yahoo.com/quote/BARC.L/history?p=BARC.L";
var fromText = '<td class="Py(10px) Ta(start) Pend(10px)"><span>';
var toText = '</span></td>';
var content = UrlFetchApp.fetch(url).getContentText();
var scraped = Parser
          .data(content)
          .from(fromText)
          .to(toText)
          .iterate();

Logger.log(scraped)
}

非常感谢任何指导。

Answer 1

• 您希望使用 Google Apps 脚本检索 URL 中的值并将其放入电子表格。

如果我的理解是正确的，那么这个修改呢？我认为您的情况有几个答案。因此，请将此视为其中之一。

修改点：

• 为了检索表，我使用了Parser 和XmlService。
  1. 使用Parser检索表作为字符串值。
  2. 使用XmlService 解析表。我认为XmlService 让我们可以轻松解析表格。

XmlService是强大的XML解析工具。因此，当它可以用于 HTML 时，它使我们更容易从 HTML 中检索值。但是最近大部分的HTML都不能直接被XmlService解析。所以我总是使用这个流程。

修改脚本：

function scrapeData() {
  // Retrieve table as a string using Parser.
  var url = "https://finance.yahoo.com/quote/BOO.L/history?p=BOO.L";
  // var url = "https://finance.yahoo.com/quote/BARC.L/history?p=BARC.L";
  var fromText = '<div class="Pb(10px) Ovx(a) W(100%)" data-reactid="30">';
  var toText = '<div class="Mstart(30px) Pt(10px)"';
  var content = UrlFetchApp.fetch(url).getContentText();
  var scraped = Parser.data(content).from(fromText).to(toText).build();

  // Parse table using XmlService.
  var root = XmlService.parse(scraped).getRootElement();
  // Retrieve header
  var headerTr = root.getChild("thead").getChildren();
  var res = headerTr.map(function(e) {return e.getChildren().map(function(f) {return f.getValue()})});
  var len = res[0].length;
  // Retrieve values
  var valuesTr = root.getChild("tbody").getChildren();
  var values = valuesTr.map(function(e) {return e.getChildren().map(function(f) {return f.getValue()})})
  .map(function(e) {return e.length == len ? e : e.concat(Array.apply(null, new Array(len - e.length)).map(String.prototype.valueOf,""))});
  Array.prototype.push.apply(res, values);

  // Put the result to the active spreadsheet.
  var ss = SpreadsheetApp.getActiveSheet();
  ss.getRange(1, 1, res.length, res[0].length).setValues(res);
}

注意：

• 在运行这个修改后的脚本之前，请安装Parser的GAS库。
• 在我的环境中，我可以确认修改后的脚本适用于p=BOO.L 和p=BARC.L。我无法确认其他人。所以当你尝试其他的时候，如果出现错误，请修改脚本。

参考：

• Parser
• XmlService

如果这不是你想要的，我很抱歉。