疯狂的网络爬行？

Question

我一直在监控我公司网站上的活动，例如点击了哪些链接等。并且网络爬虫在我们的网站上变得疯狂。

我认为我们应该在产品列表中指定 NOFOLLOW 是一个问题。 像 MSN 和 GoogleBot 这样的爬虫从我所拥有的数字中产生了大约 90% 的流量。 与网站有大约 200 次交互，即。大约每 2 分钟有人查看产品或访问“联系我们”页面。 爬虫只是不停地四处弹跳，在“家居装饰”部分寻找鱼饵之类的东西。

爬虫似乎也关注我们使用钓鱼作为描述性标签的搜索词“旋转发光”。但它已经搜索了超过 360 万次“旋转发光”！

基本上，我问这正常吗？从字面上看，平均每秒有超过 2 次点击。总是有一个爬虫在索引页面，而且很难知道有多少人在浏览这个网站。

--编辑--

这是我们使用的关键字 meta

<meta name="keywords" content="online Fishing gear, discount hunting supplies, camping gear online, hunting gear online, camping accassoires, hunting accessories, fishing accessories, Hunting, marine electronics/products, clothing, cooking, gifts, lures, tackle, live bait, guns, rifles, shotguns, Saginaw Bay, Michigan, Rivers, streams, woods, up north, sonar, rods, reels, waders, fly fishing, accessories, stream fishing, fishing reports, ice fishing, still fishing, walleye, perch, salmon, sonar, VHF radios, speed indicators, mounting systems, marine batteries, GPS, Temperature probes, UHF radios, autopilots, smokers, cooking aides, jerky cure, gas stoves, camping equipment, equipment, cook books, cookbooks, Terry Redlin, Terry Redlin Items, living stone figurines, second nature figurines, collector plates, framed pictures, birdhouses, chimes, Camille Beckman lotion, Big Sky Carvers art, Heritage Decoy, decoys, duck hunting, Spoontique lighthouses, Westland wildlife, sandstone coasters, bedding accessories, Leanin Tree cards, trout vests, fishing jackets, Red Ball, LaCrosse, Kobuk, hip boots, Columbia, Columbia Gnat Creek Jacket, Hodgman, Filson, Masterbuilt, Luhr Jensen, Camp Chef, Shore Lunch, smoking chips, smoking chunks, seasoning, wild game, bullets, ammunition, scopes, buck shot, jigs, line, fishing line" />

Answer 1

算法总是在变化，但如果您要提供一些可能有助于回答的 META TAGS。点击量似乎有点高，但有时当某个特定的热门项目成为趋势时，该主题会发生更多的抓取。所以“自旋发光”可能就是其中之一。

Answer 2

您还可以查看访问者的 IP：如果他们中的大多数人都有一个或多个 IP 地址 - 这就是机器人。否则，看起来他们是真实的人。