使用mysql写入表时如何处理Broken piper错误？

Question

我尝试插入表中的数据大约有 95k 行。所以本质上我正在尝试使用 executemany(sql, data) 函数插入 95k 值。

我最初的怀疑是插入的值集数量太多，executemany() 函数无法处理。如果这确实是原因，或者是否有其他任何可能导致以下错误消息的想法？

Traceback（最近一次调用最后一次）：文件 “/Users/ssrikanthan/anaconda/envs/ilc-load/lib/python3.5/site-packages/mysql/connector/network.py”， 第 130 行，在 send_plain self.sock.sendall(packet) BrokenPipeError: [Errno 32] Broken pipe

Answer 1

尝试增加max_allowed_packet 变量：

set global max_allowed_packet=262144000;

我们也可以从 MySQL Config 更新相同的内容：

[mysqld]
max_allowed_packet=250M

更新配置后需要重启 MySQL 服务才能生效，这是更新变量的最佳方式。从查询中设置变量不好，因为 MySQL 服务重新启动时值会更新为默认值。

这个变量的默认值是1MB，这在像你这样包含大量数据插入的情况下是不够的。因此，在执行大数据操作（如从 MySQL 插入、更新和转储数据）时，应该更新此变量。此变量的最大限制 1GB 但通常将其设置为 250 MB 在所有情况下就足够了。