我有一个带有一些链接和邮件 ID 的主页，我需要停止从该网页抓取我的网址和邮件 ID... 我用过 robots.txt，但大多数糟糕的爬虫都不会尊重这一点....
【问题讨论】：
robots.txt 仅适用于防止可敬的爬虫 - 这是大多数搜索引擎（但即使谷歌也承认将页面访问模拟为人类（忽略机器人，伪造浏览器字符串）。混淆内容（使用 JS 或编码字符可能会有所帮助，保护页面（需要登录，或首先输入验证码）都可能有所帮助。
标签： php scraper spam-prevention
好吧，您总是可以尝试使用 javascript 或图像或其他东西来混淆您的 URL。但请不要那样做。你只会激怒使用旧浏览器的人和使用屏幕阅读器的盲人。只需使用垃圾邮件过滤器即可阻止人们向您的电子邮件地址发送垃圾邮件。
如果您有一个内容较多的网站，并且希望阻止人们抓取您的内容，您可以尝试将访问者限制为每十秒点击十次。这对大多数访问者来说已经足够了，但它会显着降低内容抓取工具的速度。您可以随时调整此算法，并禁止严重违规者的 IP。
【讨论】：
您可以encode 一些链接，例如foo@bar.com 而不是 foo@bar.com。
【讨论】：
使用对真实用户隐藏的蜜罐链接。禁止 robots.txt 中的 url 并在其上添加 nofollow，这样可敬的引擎就不会命中它。页面加载时使用 javascript 隐藏链接，以便合法用户不会点击它。暂时阻止点击链接的任何人的 IP 或会话。
【讨论】：