为什么我在导入 XML 时会出现重复项？答案

【问题标题】：Why i getting duplicates when i import XML?为什么我在导入 XML 时会出现重复项？
【发布时间】：2020-05-09 18:52:30
【问题描述】：

我花了半天时间才明白，我不知道该怎么办。我有一个 XML 文件，其中包含 146 565 条名称和类记录以及导入 XML

    public function parse() {
        $start = microtime(true);
        $q = 1;        
        while ($this->reader->read() && $this->reader->name !== 'licenses');
        while ($this->reader->localName === 'licenses') {
            $node = simplexml_import_dom($this->doc->importNode($this->reader->expand(), true));
            $inn = (string) $node->inn;
            $name = (string) $node->name;            
            $this->service->create($name, $inn);
        }
        echo 'Time script: ' . round(microtime(true) - $start, 4) . ' sec.';
    }

当我使用 echo $name 而不是 $this->service->create($name, $inn); 时，它可以正常工作。我的屏幕上有 146 565 个名字。但是当我将它与我的服务一起添加到 MySql 中时，脚本并没有停止。当我将一个 1000 行的测试文件导入到数据库中时。

MariaDB [dbbase]> SELECT COUNT(1) FROM names_table;
+----------+
| COUNT(1) |
+----------+
|   248778 |

我的服务

public function create(string $name, string $inn): bool {

        try {
            $this->sth->execute([
            ':uuid' => Uuid::uuid4(),
            ':name' => $name,
            ':inn' => $inn
        ]); 
        return true;
        } catch (RuntimeException $e) {
            die($e->getMessage());
        }
    }

如何解决？我明白服务有问题，但我不知道该怎么办。我尝试不使用 return true 并使用它 - 脚本不会停止。附言添加了 id (primary, auto_increment) 而不是 uuid - 结果相同。

【问题讨论】：

为什么你有 2 个while 迭代器？
移动到第一个节点。当我只使用 echo 时它可以工作
从 XML 中删除几乎所有的名称和类。离开1-2。如果问题不存在，那么可能是 XML 中的数据存在问题 - 例如，特殊字符会破坏服务。或者可能是文件大小的问题。如果即使只有 1-2 个名称和类仍然存在问题 - 删除类部分。检查名称部分是否运行顺利，如果不是，请尝试相反的方式。使用 xdebugger 并跟踪代码或将变量及其值转储到日志文件中，并检查代码的工作方式。
如果代码对 1-2 个名称/类没有问题，您可以使用二进制搜索，将一半放回原处。然后再次执行脚本。如果失败，再拿一半。如果没有失败，请检查最初的另一半以防万一。重复直到找到问题 - 如果问题在 XML 中
如果您能识别出一个重复的示例，请尝试从 XML 中仅提取该元素，并查看它如何仅使用该记录数据运行。

标签： php xml-parsing

【解决方案1】：

首先将处理分为两部分：

public function parse() {
        $start = microtime(true);
        $q = 1;        
        while ($this->reader->read() && $this->reader->name !== 'licenses');
        $pairs = [ ];
        while ($this->reader->localName === 'licenses') {
            $node = simplexml_import_dom($this->doc->importNode($this->reader->expand(), true));
            $pairs[] = [ (string) $node->name, (string) $node->inn, Uuid::uuid4() ];
        }
        echo 'Time script: ' . round(microtime(true) - $start, 4) . ' sec.';

        foreach ($pairs as $pair) {
            list($name, $inn, $uuid) = $pair;
            print date('H:i:s') . " inserting {$name}\n";
            $this->service->create($name, $inn, $uuid);
        }

        echo 'Time script: ' . round(microtime(true) - $start, 4) . ' sec.';
    }

如果问题是插入时间过长，您可以通过两个准备好的语句来更改查询策略，一个有 200 对，一个有一个，这样您就可以用一个 INSERT 插入多行。这应该可以很好地加速事情的发展。否则，会有更可怕的解决方案 :-)。

请注意，上面我已将 UUIDv4 创建卸载到第一个周期，这需要您更改服务创建调用以从参数中读取 uuid。这是因为我曾经在使用 PHP random_bytes() 函数时遇到了一个漂亮的错误，如果随机源（可能是 /dev/urandom 但实际上以某种方式被 /dev/random 耗尽）会阻塞系统。

如果修改后的代码在第一个循环中阻塞（甚至在任何 SQL 代码被调用之前），那么是你的 UUIDv4 调用有缺陷，我们可以看看修复它。

【讨论】：