谷歌表格 - 涉及分页的刮板答案

【问题标题】：Google Sheets - Scrape table involved with pagination谷歌表格 - 涉及分页的刮板
【发布时间】：2021-11-26 16:13:51
【问题描述】：

我正在尝试使用 google 表格找到解决方法。我从 finviz.com 提取数据来构建自定义股票筛选器，但唯一的问题是它们使用分页，因此前几个结果只允许 20 行。我已经检查过，如果我点击表格的分页部分的第二页结果，只有 URL 发生变化，表明新表格的第一行。这意味着如果我的第一个结果页面为 20 行，则第二个结果页面 URL 将具有类似“r=21”的参数，指示第二个页面结果的第一行。现在，一旦表格的分页到位，我将如何确保我正在提取所有数据？此外，检查页面的来源，这些新参数存储到 href 中，这意味着如果我们的分页有 3 个页面作为结果，那么在 <table/> 元素中，我们可以在 href 中看到新的 url，例如：

<table>
  <a href="screener.ashx?v=111&f=targetprice_a5&r=21"/>
  <a href="screener.ashx?v=111&f=targetprice_a5&r=41"/>
  <a href="screener.ashx?v=111&f=targetprice_a5&r=61"/>
</table>

请注意，只有一个新参数添加到 url “r=21”，其余参数在不同的结果页面中是一致的。

谷歌表格甚至可以做到这一点吗？

这就是我have。这个想法的目标是构建每 3 分钟更新一次的股票市场筛选器，以便从概念上进行集成/查看。

=QUERY(IMPORTHTML("https://finviz.com/screener.ashx?v=111&f=cap_smallover,earningsdate_thismonth,fa_epsqoq_o15,fa_grossmargin_o20,sh_avgvol_o750,sh_curvol_o1000,ta_perf_52w10o,ta_rsi_nob50&ft=4&o=perfytd&ar=180","Table","19"),"SELECT Col1,Col2,Col7,Col8,Col9,Col10,Col11")

【问题讨论】：

标签： google-sheets xpath import google-sheets-formula google-query-language

【解决方案1】：

尝试：

=QUERY({
 IMPORTHTML("https://finviz.com/screener.ashx?v=111&f=cap_smallover,earningsdate_thismonth,fa_epsqoq_o15,fa_grossmargin_o20,sh_avgvol_o750,sh_curvol_o1000,ta_perf_52w10o,ta_rsi_nob50&ft=4&o=perfytd&ar=180","Table","19");
 IMPORTHTML("https://finviz.com/screener.ashx?v=111&f=cap_smallover,earningsdate_thismonth,fa_epsqoq_o15,fa_grossmargin_o20,sh_avgvol_o750,sh_curvol_o1000,ta_perf_52w10o,ta_rsi_nob50&ft=4&o=perfytd&r=21&ar=180","Table","19");
 IMPORTHTML("https://finviz.com/screener.ashx?v=111&f=cap_smallover,earningsdate_thismonth,fa_epsqoq_o15,fa_grossmargin_o20,sh_avgvol_o750,sh_curvol_o1000,ta_perf_52w10o,ta_rsi_nob50&ft=4&o=perfytd&r=41&ar=180","Table","19");
 IMPORTHTML("https://finviz.com/screener.ashx?v=111&f=cap_smallover,earningsdate_thismonth,fa_epsqoq_o15,fa_grossmargin_o20,sh_avgvol_o750,sh_curvol_o1000,ta_perf_52w10o,ta_rsi_nob50&ft=4&o=perfytd&r=61&ar=180","Table","19")},
 "select Col1,Col2,Col7,Col8,Col9,Col10,Col11 where Col1 matches '\d+'", 1)

【讨论】：