【发布时间】:2018-05-24 04:18:29
【问题描述】:
我正在使用 YQL 从另一个每天更新的站点上抓取一些数据,但无论我如何努力,返回的数据至少是一天前的,如果不是更早的话。换句话说,我抓取的不是网站上的实际数据。我假设它被缓存了,从我读到我需要使用某种缓存破坏技术来强制它获取新数据。这是我的调用代码的核心:
SomeClass.prototype.testfunc = function () {
var _this = this;
var site = "http://www.somesite.shtml";
var xpath = '//table[@id="someId"]/tbody/tr';
var yql = "https://query.yahooapis.com/v1/public/yql?q=" + encodeURIComponent("select * from html where url='" + site + "' and xpath='" + xpath + "'") + "&format=json&callback=?&rnd=2";
$.ajax({
url: yql,
dataType: 'json',
cache: false,
success: _this.testFunc
});
SomeClass.prototype.testFunc = function (data) {
if (data != undefined) {
//handle returned data
}
}
我已经尝试了 2 种不同的缓存清除技术来让它检索当前数据:1)在 ajax 调用中“缓存:false”和 2)在 yql 字符串的末尾添加了“&rnd=#”,我已在测试中手动更改为不同的数字,看看是否会有所作为。
我得到了数据,但不幸的是它还有几天的历史。似乎这两种方法都不起作用,我想知道我能做些什么来获取新数据。
【问题讨论】: