【问题标题】:Using Google Custom Search as a image scraper?使用 Google 自定义搜索作为图像抓取工具?
【发布时间】:2015-11-17 05:54:50
【问题描述】:

我想抓取与特定文本一致的图像。我希望它过滤这些,定期检查新图像,并将结果上传到程序。

我必须建立一个网站才能做到这一点吗?有更好的工具吗?哪种方法最简单?我对文档有点不知所措。

【问题讨论】:

    标签: filter web-scraping image-uploading google-custom-search


    【解决方案1】:

    我建议您使用谷歌搜索抓取与特定文本一致的图像。 请记住,谷歌对网络抓取很敏感,特别是对其服务器频繁请求搜索页面。阅读this post 以了解它(搜索结果页面在某种程度上类似于查询business directories)。

    我必须建立一个网站才能做到这一点吗?

    绝对不是(对于谷歌常规搜索)。如果你想使用谷歌自定义搜索,你需要建立一个网站。

    有更好的工具吗?

    我认为最好的方法是自定义刮板(python、php)。但是,再次以缓和的速度刮,以免谷歌禁止你或放出CAPTCHA

    哪种方法最简单?

    如果您缺乏编程技能,请转至the web scraping software

    【讨论】:

    • 看起来谷歌自定义搜索的进入门槛相当低,如果我对控制面板的看法是正确的,我不需要网站。这是一小部分结果,所以我可以错开刮擦。
    猜你喜欢
    • 1970-01-01
    • 2018-02-04
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 1970-01-01
    • 2019-07-17
    • 1970-01-01
    相关资源
    最近更新 更多