【发布时间】：2012-03-01 07:30:24
【问题描述】：
我正在使用 YQL 控制台，我想从这个 link in Google Shopping 返回结果
在 YQL 中使用以下内容：
select content from html where url="www.google.com/products/seller?hl=en&q=burkett+restaurant+equipment+reviews&tbo=u&tbm=shop&zmi=basequipment.com&cmi=12986189937115136" and xpath="//body"
这是说：
重定向到 robots.txt 受限网址
并且不会显示任何结果，有什么办法可以解决这个问题？
【问题讨论】：
-
谷歌ask bots not to touch that data 和雅虎！尊重他们的要求。所以不应该有解决这个问题的技术方法。我希望他们的条款和条件也禁止您以这种方式访问数据，因此您的法律依据也很不稳定。
标签： html select yql robots.txt http-status-code-403