所有这些类型的网站都只是非法抓取 Google 或其他搜索引擎吗？
据我所知，没有“合法”的方式可以为商业网站获取这些数据。雅虎！ api (http://developer.yahoo.com/search/siteexplorer/V1/inlinkData.html) 仅用于非商业用途，Yahoo!老板不允许自动查询等
有什么想法吗？
【问题讨论】：
标签： api seo screen-scraping
例如，如果您想查找所有指向 Google 主页的链接，请搜索
link:http://www.google.com
因此，如果您想查找所有入站链接，您可以简单地遍历您网站的树，并为它找到的每个项目构建一个 URL。然后向 Google 查询：
link:URL
您将获得 Google 从其他网站到您网站的所有链接的集合。
至于这种收获的合法性，我敢肯定从中获利并不完全合法，但这从来没有阻止过任何人，不是吗？
（所以我不会想知道他们是否这样做了。假设他们这样做了。）
【讨论】：
我不知道 hubspot 做什么，但是，如果您想找出哪些网站链接到您的网站，并且您没有硬件来抓取网络，那么您可以做的一件事是监控您网站的访问者。例如，这就是谷歌分析（据我所知）如何告诉您访问者来自哪里。这不是 100% 可靠的，因为并非所有浏览器都设置了它，尤其是在“隐私模式”下，但每个链接只需要一个访问者就可以知道它的存在！
这通常是通过将脚本嵌入到您的每个网页中来实现的（通常在一个共同的页眉或页脚中）。例如，如果您检查当前正在阅读的页面的来源，您会发现（正下方）一个脚本，该脚本向 Google 报告您的访问信息。
现在这不会告诉您是否有没有人用来访问您的网站的链接，但让我们面对现实吧，它们远没有人们实际使用的那么有趣。
【讨论】：