【发布时间】:2015-11-17 05:54:50
【问题描述】:
我想抓取与特定文本一致的图像。我希望它过滤这些,定期检查新图像,并将结果上传到程序。
我必须建立一个网站才能做到这一点吗?有更好的工具吗?哪种方法最简单?我对文档有点不知所措。
【问题讨论】:
标签: filter web-scraping image-uploading google-custom-search
我想抓取与特定文本一致的图像。我希望它过滤这些,定期检查新图像,并将结果上传到程序。
我必须建立一个网站才能做到这一点吗?有更好的工具吗?哪种方法最简单?我对文档有点不知所措。
【问题讨论】:
标签: filter web-scraping image-uploading google-custom-search
我建议您使用谷歌搜索抓取与特定文本一致的图像。 请记住,谷歌对网络抓取很敏感,特别是对其服务器频繁请求搜索页面。阅读this post 以了解它(搜索结果页面在某种程度上类似于查询business directories)。
我必须建立一个网站才能做到这一点吗?
绝对不是(对于谷歌常规搜索)。如果你想使用谷歌自定义搜索,你需要建立一个网站。
有更好的工具吗?
我认为最好的方法是自定义刮板(python、php)。但是,再次以缓和的速度刮,以免谷歌禁止你或放出CAPTCHA。
哪种方法最简单?
如果您缺乏编程技能,请转至the web scraping software。
【讨论】: