脚本在一段时间后重新开始执行

Question

我正忙于 cakePHP 的一个项目，我需要解析几个 XML 文件并将相关数据插入到我的 mysql 数据库中。脚本插入了它应该插入的内容，这不是问题。例如，如果我解析一两个文件（大约 7000-8000 条记录），就不会出错。

当我解析第三个或第四个 xml 文件时，问题就开始了。插入记录一分钟后，我看到数据库中成功插入了 9000-10000 条记录，但突然间脚本似乎重新启动。我注意到表中存在 0 条记录，它重新开始插入所有记录。所以脚本只需要很长时间才能执行。

短sn-p：

$content = simplexml_load_file($file);

/**
 * Process line per line 
 */              
foreach ($content->product as $line) {              
  // create new record in products database table
  $product = array();
  $product['Product']['productid'] = $line->attributes()->sku_number;
  $product['Product']['name'] = $line->attributes()->name;
  $product['Product']['description'] = empty($line->description->long) ? $line->description->short : $line->description->long;
  $product['Product']['link'] =  $line->URL->product;
  $product['Product']['affiliate'] = 'linkshare';
  $product['Product']['price'] = $line->price->retail;
  $product['Product']['brand'] = strtolower($line->brand);
  $product['Product']['image'] = $line->URL->productImage;

  // if not in rejectedproducts, save the new product to the database
  if (!$rejectedproductModel->findByProductid($product['Product']['productid'])) {
  $productModel->create();
  $productModel->save($product);        
}

有人有这方面的经验吗？可能是什么原因以及更多可能的解决方案:)

谢谢

Answer 1

我将展示一些代码。提要的调用是这样发生的 parseDirectory 方法检查指定文件夹中的所有 xml，并通过调用 linkshare 操作并传递文件名来解析它们。

function index() {
        set_time_limit(0);

        #$this->updateFeeds();

        App::import('Model', 'Product');        
        $productModel = new Product();      
        # truncate table products before adding new records to avoid duplicate records
        $productModel->query('TRUNCATE TABLE products');

        # parse all files from shareasale
        #$this->__parsedirectory('feeds/shareasale');   
        # parse all files from linkshare
        $this->__parsedirectory('feeds/linkshare'); 

        # send mails where necessary
        $this->redirect(array('controller' => 'subscriptions', 'action' => 'sendmails'));
    }

私有函数

function __parsedirectory($dir) {   
    # retrieve name affiliate out of directory
    $affiliate = explode('/', $dir);
    $affiliate = $affiliate[1];     

    $dh = opendir($dir);
    while (($file = readdir($dh)) !== false) {
        if ($file != '.' && $file != '..' && !$this->__endswith($file, 'gz')) {
            $this->requestAction('/parse/' . $affiliate . '/file:' . $file);
            $this->Session->setFlash($affiliate . '/' . $file . ' parsed');
        }
    }
    closedir($dh);
    $this->autoRender = false;
}

Answer 2

我认为问题出在这段代码上：

  # truncate table products before adding new records to avoid duplicate records
        $productModel->query('TRUNCATE TABLE products');

这是避免重复记录的糟糕方法。这应该通过对数据库的限制来管理。话虽如此，不知何故，这段代码在进程中间再次运行。

这是设置为 CRON 还是以某种方式自动运行？如果是这样，那么当下一个文件开始时，前一个文件还没有完成解析。