创建一个只访问我的网站的机器人答案

【问题标题】：Create a bot that just visits my website创建一个只访问我的网站的机器人
【发布时间】：2012-02-05 15:51:41
【问题描述】：

我有一个 Wordpress 网站，它自动从 RSS 提要中获取一些信息，发布它，然后在内置 Wordpress 功能的帮助下，为该帖子设置一个包含名称和值的自定义字段。问题是只有当有人访问已发布的帖子时才会设置此自定义字段。因此，我必须访问每个新帖子才能应用自定义字段或等待访问者这样做。

我期待创建一个机器人、网络爬虫或蜘蛛，它每小时只访问我所有的新网页或其他任何东西，以便在发布帖子时自动应用自定义字段。

有任何方法可以使用 PHP 或其他基于 Web 的语言来创建它。我使用的是 Mac，所以我不认为 Visual Basic 是一个解决方案，但我可以尝试安装它。

【问题讨论】：

标签： bots

【解决方案1】：

例如，您可以编写一个调用 wget 的 shell 脚本（或者如果您没有它，您可以调用 curl -0）并安排它每小时运行一次，例如使用cron。

可以像下面的脚本一样简单：

#!/bin/sh
curl -0 mysite.com

假设它被称为 visitor.sh 并设置为可执行，然后您可以通过键入 crontab -e 来编辑您的 crontab 来安排它。 Here 是一个链接，它解释了如何执行第二部分。您基本上需要将此行添加到您的 crontab 中：

0    *    *    *    *    /path/to/.../visitor.sh

（意思是：每隔一小时运行一次位于/path/to/.../visitor.sh的脚本。）

请注意，脚本会在您的计算机上运行，因此它只会在计算机运行时运行。

【讨论】：

【解决方案2】：

crontab 是个好点，你也可以使用curl 或lynx 浏览网页。它们的重量很轻。

【讨论】：