【发布时间】：2011-05-19 14:26:54
【问题描述】：
我们需要扫描整个网站以查找我们担心可能丢失的某些分析标签。
是否有任何工具可以让我们以自动化的方式执行此操作？所以我们不必手动完成整个事情？
我在 www.notagsnoglory.com 上查看了一个工具，但不幸的是，他们想要收取 1000 美元来扫描独特的标签。
谢谢！
【问题讨论】：
【发布时间】：2011-05-19 14:26:54
【问题描述】：
如果您可以通过 shell 访问您的站点，则可以使用 grep 命令来定位分析标记的可能实例：
> cd /path/to/your/site && grep -Rs "[string to search for]" * | grep -v "[anything you don't want to see]"
例如，如果您要查找的标签包含字符串“google-analytics”，并且您有输出噪音（例如颠覆标签），那么您的命令可能如下所示：
> grep -Rs "google-analytics" * | grep -v "svn"
希望对您有所帮助。
【讨论】：
-
谢谢罗伯！不幸的是，我无法访问我的网站。它建立在 Interwoven 称为 TeamSite 的 CMS 之上。我相信唯一可行的是某种爬虫软件。否则我们可以把整个网站都搞定，也许把它放在一个 Linux 系统上，然后按照你建议的方式去做？
-
是的，你可以爬取它。如果您想以便宜的价格进行爬虫，那么您可以在本地机器上使用 wget -r yourweb.site 。如果通过客户端代码对客户可见，它将显示标签。
-
如果 wget 缺少我希望他们拥有的分析标签，我怎么能只下载页面？或者这怎么可能？
-
嗯。如果您使用 wget，您可能需要下载所有页面（希望这不是一项不可能完成的任务），删除所有垃圾（如您知道标签不会出现的图像等），然后在所有文件上运行查找您要查找的类型，删除所有具有标签的类型：# find ./ -name *.html | grep -L [分析标签字符串] | xargs rm
-
嗨 Rob - 我是一个 Linux 新手。因此，运行该 Grep 命令将“删除”所有具有标签的页面，只留下没有标签的页面？是否有可能在 Windows 中做到这一点？还是 OSX？