使用批量更新将结果写入电子表格时遇到问题

Question

我创建了一个脚本，使用谷歌应用脚​​本从webpage 中抓取两个字段。该脚本似乎工作正常，但它以每行为基础将结果写入电子表格。

我所做的是从登录页面获取所有商店的链接，然后在另一个函数中重用这些链接来解析内页中的 shop name 和 website link。虽然这两个字段在登录页面中也可用，但我希望从它们的内页解析它们。

但是，我希望将结果写入电子表格中进行批量更新。我怎样才能做到这一点？

目前的做法：

function parseYellowpages() {
  var options = {
    "method" : "GET",
    "headers" : {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like  Gecko) Chrome/88.0.4324.150 Safari/537.36"
     }
    };
  var ss = SpreadsheetApp.getActiveSpreadsheet();
  var activeSheet = ss.getSheetByName('Sheet1');
  var base = "https://www.yellowpages.com"
  var webURL = "https://www.yellowpages.com/search?search_terms=pizza&geo_location_terms=New+York%2C+NY";

  var row = 1;

  var response = UrlFetchApp.fetch(webURL,options);
  var $ = Cheerio.load(response.getContentText()); 

  const items = $("[class='result'] [class='info']");
  for (i=0;i<items.length;i++){
      var shopLink = base + $(items[i]).find('h2[class="n"] > a.business-name').attr('href');
      var resultContainer;
      resultContainer = getInnerpageInfo(shopLink,options);
      activeSheet.getRange(row,1).setValue(resultContainer[0]);
      activeSheet.getRange(row,2).setValue(resultContainer[1]);
      console.log(resultContainer[0],resultContainer[1]);
      row++;
    };
}

function getInnerpageInfo(innerLink,options) {
    var response = UrlFetchApp.fetch(innerLink,options);
    var $ = Cheerio.load(response.getContentText()); 
    var shopName = $('.sales-info > h1').first().text();
    var website = $('a.website-link').first().attr('href');
    return [shopName,website];

}

如何将结果写入电子表格进行批量更新？

Answer 1

您可以通过将重复的.setValue() 调用替换为一次将所有结果一次性写入电子表格的.setValues() 调用来显着提高性能。

要收集结果，在循环中将它们一一推入数组中，或者将循环替换为Element.map()，如下所示：

  const result = items.map((index, item) => {
    const path = $(item).find('h2[class="n"] > a.business-name').attr('href');
    const shopLink = base + path;
    return [getInnerpageInfo(shopLink, options)];
  }).get();

要写入结果，获取一个大小与结果尺寸匹配的范围并使用.setValues()，如下所示：

  activeSheet.getRange('A1')
    .offset(0, 0, result.length, result[0].length)
    .setValues(result);

问题中的代码在一段时间内似乎没有执行任何操作的原因是 Google Apps 脚本缓存了对电子表格的写入。在许多情况下，所有的写入都只会在脚本终止时执行。

如果您需要立即应用挂起的写入，请使用SpreadsheetApp.flush()。

另见Apps Script best practices 和UrlFetchApp.fetchAll()。