无法将大型数据库导入 docker mysql 容器答案

【问题标题】：unable to import large database to docker mysql container无法将大型数据库导入 docker mysql 容器
【发布时间】：2016-10-12 05:45:42
【问题描述】：

我正在尝试将大型数据库导入 mysql 容器。我已将主机目录安装为 mysql 容器的卷。所以数据在主机上是持久的。导入的sql文件为14 GB+。 mysql 容器在导入的中途变得无响应。当我运行docker stats 时，我可以看到CPU % 的使用变为< 1，一旦mysql 容器吃掉了所有可用的内存。我尝试将 docker 的内存增加到10 GB，当我为 Docker 分配更多内存时，它会从导入创建更多表。但我不能从主机分配超过10GB。

以下是我的docker-compose.yml 文件

mysql:
    image: mysql:5.6
    environment:
        - MYSQL_ROOT_PASSWORD=12345678
    volumes:
        - ./mysql/lib:/var/lib/mysql
        - ./mysql/conf.d:/etc/mysql/conf.d
        - ./mysql/log:/var/log/mysql
        - /tmp:/tmp
    ports:
        - "3306:3306"

我使用的是Docker for mac，它的docker版本为1.12.1

我使用docker exec -it docker_mysql_1 /bin/bash登录容器并从/tmp导入sql文件

我也尝试了mysql repo推荐的方式，将sql文件挂载到/docker-entrypoint-initdb.d。但这也会停止 mysql init。

更新 1

$ docker info
Containers: 1
 Running: 0
 Paused: 0
 Stopped: 1
Images: 2
Server Version: 1.12.1
Storage Driver: aufs
 Root Dir: /var/lib/docker/aufs
 Backing Filesystem: extfs
 Dirs: 18
 Dirperm1 Supported: true
Logging Driver: json-file
Cgroup Driver: cgroupfs
Plugins:
 Volume: local
 Network: host bridge null overlay
Swarm: inactive
Runtimes: runc
Default Runtime: runc
Security Options: seccomp
Kernel Version: 4.4.20-moby
Operating System: Alpine Linux v3.4
OSType: linux
Architecture: x86_64
CPUs: 4
Total Memory: 9.744 GiB
Name: moby
ID: 43S4:LA5E:6MTG:IFOG:HHJC:HYLX:LYIT:YU43:QGBQ:K5I5:Z6LP:AENZ
Docker Root Dir: /var/lib/docker
Debug Mode (client): false
Debug Mode (server): true
 File Descriptors: 16
 Goroutines: 27
 System Time: 2016-10-12T07:52:58.516469676Z
 EventsListeners: 1
No Proxy: *.local, 169.254/16
Registry: https://index.docker.io/v1/
Insecure Registries:
 127.0.0.0/8


$ df -h
Filesystem      Size   Used  Avail Capacity iused      ifree %iused  Mounted on
/dev/disk1     233Gi  141Gi   92Gi    61% 2181510 4292785769    0%   /
devfs          193Ki  193Ki    0Bi   100%     668          0  100%   /dev
map -hosts       0Bi    0Bi    0Bi   100%       0          0  100%   /net
map auto_home    0Bi    0Bi    0Bi   100%       0          0  100%   /home
/dev/disk2s2   466Gi   64Gi  401Gi    14%    1857 4294965422    0%   /Volumes/mac
/dev/disk2s3   465Gi   29Gi  436Gi     7%  236633    3575589    6%   /Volumes/PORTABLE
/dev/disk3s1   100Mi   86Mi   14Mi    86%      12 4294967267    0%   /Volumes/Vagrant

我使用 /dev/disk1 目录来挂载卷。

【问题讨论】：

能否添加以下输出：docker info 和 df -h
@guenhter 查看更新 1
您好，您找到解决此问题的方法了吗？甚至我也面临同样的问题。
@MukeshYadav 我不得不使用 github.com/Verace/MySQLDumpSplitter 将 sql 文件拆分成更小的文件并导入它们。

标签： mysql docker docker-compose

【解决方案1】：

我通过改变环境解决了 phpmyadmin->import of large Database 错误 docker-compose.yml 中的变量

UPLOAD_LIMIT=1G


myadmin:
        image: phpmyadmin/phpmyadmin
        container_name: phpmyadmin
        ports:
            - "8083:80"
        environment:
            - UPLOAD_LIMIT=1G
            - PMA_ARBITRARY=1
            - PMA_HOST=${MYSQL_HOST}
        restart: always
        depends_on:
            - mysqldb

【讨论】：

【解决方案2】：

我在尝试将一个大的 sql 文件加载到我的数据库时遇到了类似的问题。我只需要增加容器中的最大数据包大小，导入就按预期工作。例如，您想将 SQL 文件的最大大小增加到 512 MB，并且您的容器命名为 my_mysql，您可以使用以下命令调整正在运行的容器中的包大小：

docker exec -it my_mysql bash -c "echo 'max_allowed_packet = 512M' >> /etc/mysql/mysql.conf.d/mysqld.cnf"

这会将行附加到配置文件中。之后，需要重启容器：

docker restart my_mysql

【讨论】：

我设法通过将数据库拆分为更小的块来导入我的数据库。我想我尝试过调整这个值，但我的情况更糟。
好的，这可能是解决您问题的更好方法。我只需要导入一个几百兆字节的文件。

【解决方案3】：

即使我也遇到过类似的问题。请按照以下过程进行操作，这可能会对您有所帮助：首先将您的 sql 文件（filename.sql）复制到 db 容器中。

docker cp filename.sql docker_db_container:/filename.sql

稍后登录到您的数据库容器，并使用此（文件名.sql）文件填充数据库。为了在数据库中插入您的文件（filename.sql），转到 mysql 到 db 容器中，使用要在其中存储数据库的 db，即。 use database_name;

source /filename.sql

但是，如果您遇到大数据包大小的问题，请增加容器数据包大小

docker exec -it docker_db_container bash -c "echo 'max_allowed_packet = 1024M' >> /etc/mysql/mysql.conf.d/mysqld.cnf"

【讨论】：