【发布时间】:2010-10-10 12:28:54
【问题描述】:
我知道 JavaScript 可以在新窗口中打开链接,但是否可以打开网页而不在窗口中打开或向用户显示?我想要做的是解析该网页的一些文本并将其用作变量。
这可能没有来自服务器端语言的任何帮助吗?如果是这样,请给我一个我可以实现的方向。
谢谢大家
【问题讨论】:
标签: javascript regex parsing webpage
我知道 JavaScript 可以在新窗口中打开链接,但是否可以打开网页而不在窗口中打开或向用户显示?我想要做的是解析该网页的一些文本并将其用作变量。
这可能没有来自服务器端语言的任何帮助吗?如果是这样,请给我一个我可以实现的方向。
谢谢大家
【问题讨论】:
标签: javascript regex parsing webpage
您可以使用XMLHttpRequest 对象来执行此操作。这是一个简单的例子
var req = new XMLHttpRequest();
req.open('GET', 'http://www.mydomain.com/', false);
req.send(null);
if(req.status == 200)
dump(req.responseText);
加载后,您可以在 req.responseText 成员上使用javascript regular expressions 执行解析/抓取。
实际上你需要做更多的事情来以跨平台的方式获取 XMLHttpRequest 对象,例如:
var ua = navigator.userAgent.toLowerCase();
if (!window.ActiveXObject)
req = new XMLHttpRequest();
else if (ua.indexOf('msie 5') == -1)
req = new ActiveXObject("Msxml2.XMLHTTP");
else
req = new ActiveXObject("Microsoft.XMLHTTP");
或者,您可以省去所有的麻烦,只需使用像 jQuery 或 Prototype 这样的库来为您处理这个问题。
请注意,由于same-origin policy,您请求的页面必须与发出请求的页面来自同一个域。如果你想请求一个远程页面,你必须通过服务器端脚本来代理它。
另一种可能的解决方法是使用 Flash 发出请求,如果目标站点使用适当配置的 crossdomain.xml 文件授予权限,则允许跨域请求。
这是一篇关于同源政策主题的好文章:
【讨论】:
Whatever Origin 是一个开源库,允许您使用纯 Javascript 进行抓取。它还解决了“同域起源”问题。 http://www.whateverorigin.org/
$.getJSON('http://whateverorigin.org/get?url=' + encodeURIComponent('http://google.com') + '&callback=?', function(data){
alert(data.contents);
});
【讨论】:
您可以在 iframe 中打开新窗口:
http://www.w3schools.com/TAGS/tag_iframe.asp
但请注意,如果您打开的网站来自不同的 URL,则 Javascript 访问会受到限制。这是为了防止跨站脚本攻击:
【讨论】:
您可以尝试使用 fetch 和它的回调
fetch('https://api.codetabs.com/v1/proxy?quest=google.com').then((response) => response.text()).then((text) => console.log(text));
【讨论】:
您将使用 AJAX。这将对相关 URL 发出 Get 请求并返回响应 HTML。 Jquery 让这变得非常简单,例如
$.get("test.php");
安德鲁
【讨论】: