如何使用 PHP 解析 robots.txt 文件？

Question

我正在尝试解析网站 robots.txt 文件（其中 facebook 将是一个随机 url）。

我想删除任何不用于用户代理的行（例如本例中的前两行）。所以也许摆脱任何不以 A、D 或 U 开头的行？

我还想让每个用户代理都有自己的关联数组，标题是用户代理，即允许所有谷歌机器人允许和禁止 url 我将在 $arr[googleBot] 上打印_r。

这是我目前的代码！

<?php 

//URl to start crawling
$start = "https://www.facebook.com";

//Url to crawl, crawled or not crawl
$crawling = array();
$crawled = array();
$disallow = array();

function getRobots($url)
{
    $robotsUrl = $url . "/robots.txt";
    ini_set("user_agent","Agent (https://www.useragent.com)");
    $robots = @file_get_contents($robotsUrl);
    $robots = explode("\n", $robots);

    $robots = preg_grep('/[^\s]/', $robots);

    print_r($robots);

}

$result = getRobots($start);

Answer 1

尝试将其与您的代码合并：

    <?php
function getRobots($url)
    {
        $robotsUrl = $url . "/robots.txt";
          $robot = null;
          //create an object
          $allRobots = [];
          $fh = fopen($robotsUrl,'r');
          while (($line = fgets($fh)) != false) {
            echo $line . "<br>";
           if (preg_match("/user-agent.*/i", $line) ){
                if($robot != null){
                  array_push($allRobots, $robot);
                }

                $robot = new stdClass();
                $robot->userAgent = [];
                $robot->userAgent = explode(':', $line, 2)[1];
                $robot->disAllow = [];
                $robot->allow = [];


              }
            if (preg_match("/disallow.*/i", $line)){
              array_push($robot->disAllow, explode(':', $line, 2)[1]);
            }
            else if (preg_match("/^allow.*/i", $line)){
              array_push($robot->allow, explode(':', $line, 2)[1]);
           }


          }

          var_dump($line);

          if($robot != null){
            array_push($allRobots, $robot);
          }


          //Lazy way of outputting. Loop through for prettier output.
          var_dump($allRobots);
    }

getRobots("https://www.google.com");

?>

基本上，您需要逐行循环。

• 如果找到User-Agent，则创建一个新的机器人实例。
• 如果找到disallow，则将禁止字符串添加到机器人实例
• 如果找到allow，则将允许字符串添加到机器人实例
• 如果找到User-Agent。将机器人添加到所有机器人。从空白机器人重新开始