PhalconPHP 中的大型进程答案

【问题标题】：Large processes in PhalconPHPPhalconPHP 中的大型进程
【发布时间】：2015-04-11 23:22:27
【问题描述】：

我有正在记录应用程序的 webapp，我需要那里的备份/恢复/导入/导出功能。我用 laravel 成功地做到了这一点，但对 Phalcon 有一些并发症。我没有看到 phalcon 中的本机函数会在大型 php 脚本的块执行时分裂。

问题是日志将被备份和恢复以及由用户以 ADIF 格式 (adif.org) 导入我有该格式的解析器，它将文件转换为数组数组，然后每条记录都应该搜索另一个表，包含 2000 个正则表达式，并在那里找到 3-10 个匹配项，并将一个表中的导入记录连接到另一个表中的记录（模型关系 hasMany）这意味着每个导入的记录都应该有相当长的处理时间。 laravel 以某种方式导入了 3500 条记录，我不知道它会如何处理更多。平均导入会包含 10000 条记录，每条记录都需要用 2000 条正则表达式进行验证。

主要问题是如何将这个巨大的处理装载分成更小的块，这样我就不会超时？

【问题讨论】：

将备份作为 SQL 转储进行有什么问题吗？
adif 是各种业余无线电应用程序之间交换数据的格式，因此我需要为用户支持该格式。此外 - 系统是多用户的，每个用户都应该有自己的备份功能，只能访问自己的日志。只有当我是系统的严肃用户时，SQL 转储才会起作用。

标签： php mysql timeout phalcon

【解决方案1】：

这里的函数可以完美地完成在一个表中添加 3862 条记录的工作，并且作为处理每条记录的结果在另一个表中添加 8119 条记录：

public function restoreAction()
{
    $this->view->disable();

    $user = Users::findFirst($this->session->auth['id']);

    if ($this->request->isPost()) {
        if ($this->request->isAjax()) {

            $frontCache = new CacheData(array(
                "lifetime" => 21600
            ));

            $cache = new CacheFile($frontCache, array(
                "cacheDir" => "../plc/app/cache/"
            ));

            $cacheKey = $this->request->getPost('fileName').'.cache';

            $records = $cache->get($cacheKey);

            if ($records === null) {
                $rowsPerChunk = 50;
                $adifSource = AdifHelper::parseFile(BASE_URL.'/uploads/'.$user->getUsername().'/'.$this->request->getPost('fileName'));
                $records = array_chunk($adifSource, $rowsPerChunk);
                $key = array_keys($records); 
                $size = count($key); 
            }

            for ($i = 0; $i < $size; $i++) {
                if (!isset($records[$i])) {
                    break;
                }
                set_time_limit(50);
                for ($j=0; $j < $rowsPerChunk; $j++) { 
                    $result = $records[$i][$j];
                    if (!isset($result)) {
                        break;
                    }
                    if(isset($result['call'])) {
                        $p = new PrefixHelper($result['call']);
                    }
                    $bandId = (isset($result['band']) && (strlen($result['band']) > 2)) ? Bands::findFirstByName($result['band'])->getId() : null;
                    $infos = (isset($p)) ? $p->prefixInfo() : null;
                    if (is_array($infos)) {
                        if (isset($result['qsl_sent']) && ($result['qsl_sent'] == 'q')) {
                            $qsl_rcvd = 'R';
                        } else if (isset($result['eqsl_qsl_sent']) && ($result['eqsl_qsl_sent'] == 'c')) {
                            $qsl_rcvd = 'y';
                        } else if (isset($result['qsl_rcvd'])) {
                            $qsl_rcvd = $result['qsl_rcvd'];
                        } else {
                            $qsl_rcvd ='i';
                        }
                        $logRow = new Logs();
                        $logRow->setCall($result['call']);
                        $logRow->setDatetime(date('Y-m-d H:i:s',strtotime($result['qso_date'].' '.$result['time_on'])));
                        $logRow->setFreq(isset($result['freq']) ? $result['freq'] : 0);
                        $logRow->setRst($result['rst_sent']);
                        $logRow->setQslnote(isset($result['qslmsg']) ? $result['qslmsg'] : '');
                        $logRow->setComment(isset($result['comment']) ? $result['comment'] : '');
                        $logRow->setQslRcvd($qsl_rcvd);
                        $logRow->setQslVia(isset($result['qsl_sent_via']) ? $result['qsl_sent_via'] : 'e');
                        $logRow->band_id = $bandId;
                        $logRow->user_id = $this->session->auth['id'];
                        $success = $logRow->save();

                        if ($success) {
                            foreach ($infos as $info) {
                                if (is_object($info)) {
                                    $inf = new Infos();
                                    $inf->setLat($info->lat);
                                    $inf->setLon($info->lon);
                                    $inf->setCq($info->cq);
                                    $inf->setItu($info->itu);
                                    if (isset($result['iota'])) {
                                        $inf->setIota($result['iota']);
                                    }
                                    if (isset($result['pfx'])) {
                                        $inf->setPfx($result['pfx']);
                                    }
                                    if (isset($result['gridsquare'])) {
                                        $inf->setGrid($result['gridsquare']);
                                    } else if (isset($result['grid'])) {
                                        $inf->setGrid($result['grid']);
                                    }
                                    $inf->qso_id = $logRow->getId();
                                    $inf->prefix_id = $info->id;

                                    $infSuccess[] = $inf->save();
                                }
                            }
                        }
                    }
                }
                sleep(1);
            }

        }       
    }
}

我知道，脚本需要大量改进，但目前的任务只是让它工作。

【讨论】：

【解决方案2】：

我认为 php 中大型处理任务的良好做法是控制台应用程序，它对执行时间没有限制，并且可以设置更多内存来执行。

至于 phalcon，它具有运行和处理 cli 任务的内置机制 - Command Line Applications（此链接将始终指向 phalcon 最新版本的文档）

【讨论】：