如何将 pandas 数据框作为表写入 MySQL 数据库？

Question

只是一个简单的问题，伙计们：我在 mysql 中创建了一个 darabase（意见）：

mysql> show databases;
+--------------------+
| Database           |
+--------------------+
| information_schema |
| mysql              |
| opinions           |
| performance_schema |
| sys                |
+--------------------+
5 rows in set (0.06 sec)

我还有一个熊猫数据框df：

import pandas as pd
df = pd.read_csv('file.csv', sep='|', names=['id', 'opinions'])
df.head(3)

输出：

    id content
0   id1 'blablababla
1   id2 'blalbabla
...
n   idn 'blalbabl

然后，我想将 df 作为表 (items) 加载到 opinions 数据库中。这是我尝试过的：

import mysql.connector
from sqlalchemy import create_engine

engine = create_engine('mysql+mysqlconnector://user:password@localhost:3306/opinions', echo=False)
df.to_sql(name='items', con=engine, if_exists = 'replace', index=False)
df

但是，我得到了这个例外：

OperationalError: (mysql.connector.errors.OperationalError) 2055: Lost connection to MySQL server at 'localhost:3306', system error: 32 Broken pipe

我应该如何将表df 加载或写入opinions 数据库？

Answer 1

在您的 MySQL 服务器上，opinions 不是table，而是database（正如show databases 所暗示的那样），它基本上是表的集合。但是，您只能在表上发出 select 语句。

您可以检查哪些表，例如通过SHOW TABLES IN opinions 存在。 将数据库作为参数添加到连接中也很方便：

config = {
    'user' : 'root',
    'passwd' : 'password',
    'host' : 'localhost',
    'raise_on_warnings' : True,
    'use_pure' : False,
    'database' : 'opinions'
    }
con = mysql.connector.connect(**config)

这会导致所有表引用都以opinions 数据库中的表为目标。 现有表上的普通选择应该可以工作：

data = pd.read_sql('SELECT * FROM <some_table_name>', con)

Answer 2

使用 Pandas 从 MySQL 读取数据。 MySQLdb 写入数据库。

  mysql> show databases;
    +--------------------+
    | Database           |
    +--------------------+
    | information_schema |
    | mysql              |
    | opinions           |
    | performance_schema |
    | sys                |
    +--------------------+

太棒了！对于您的示例，将test 替换为opinions

mysql> use test;
Reading table information for completion of table and column names

Database changed
mysql> show tables;
+-----------------+
| Tables_in_test |
+-----------------+
| _t              |
| food            |
| food_in         |
| food_min        |
| type            |
| user            |
+-----------------+
4 rows in set (0.00 sec)

mysql> select * from test.food;
+----+-------+--------------+--------+----------+
| ID | Cat   | Item         | price  | quantity |
+----+-------+--------------+--------+----------+
|  1 | Food  | Pizza        | 2.7500 |      300 |
|  2 | Liq   | Beer         | 2.5000 |      300 |
|  4 | Food  | Sandwich     | 4.0000 |      222 |
| 12 | Food  | Soup         | 3.5000 |      100 |
+----+-------+--------------+--------+----------+
4 rows in set (0.00 sec)

所以：

data = pd.read_sql('SELECT * FROM opinions', con)

变成：

data = pd.read_sql('SELECT * FROM opinions.MYTABLETHATIWANT', con)

我使用 MySQLdb 写入数据库。所以，我可以使用基本的 python 和 pandas。 您可能还会遇到禁止数据库/表访问的权限问题。您使用的是 root 用户，还是其他用户并已为用户设置了权限。