【问题标题】:Importing data from a MySQL database into a Pandas data frame including column names [duplicate]将数据从 MySQL 数据库导入到 Pandas 数据框中,包括列名 [重复]
【发布时间】:2016-10-10 08:37:27
【问题描述】:

我正在将数据从 MySQL 数据库导入 Pandas 数据框。以下摘录是我正在使用的代码:

import mysql.connector as sql
import pandas as pd

db_connection = sql.connect(host='hostname', database='db_name', user='username', password='password')
db_cursor = db_connection.cursor()
db_cursor.execute('SELECT * FROM table_name')

table_rows = db_cursor.fetchall()

df = pd.DataFrame(table_rows)

当我打印数据框时,它确实正确地表示了数据,但我的问题是,是否也可以保留列名?这是一个示例输出:

                          0   1   2     3     4     5     6     7     8
0  :ID[giA0CqQcx+(9kbuSKV== NaN NaN  None  None  None  None  None  None
1  lXB+jIS)DN!CXmj>0(P8^]== NaN NaN  None  None  None  None  None  None   
2  lXB+jIS)DN!CXmj>0(P8^]== NaN NaN  None  None  None  None  None  None   
3  lXB+jIS)DN!CXmj>0(P8^]== NaN NaN  None  None  None  None  None  None   
4  lXB+jIS)DN!CXmj>0(P8^]== NaN NaN  None  None  None  None  None  None   

我想做的是保留列名,它将替换熊猫列索引。例如,列名不是 0,而是 MySQL 表中的“First_column”。有什么好的方法可以解决这个问题吗?或者有没有比我的更有效的方法将数据从 MySQL 导入 Pandas 数据帧?

【问题讨论】:

  • 你为什么不用pd.read_sql()
  • 这里的问题与 MySQL db 相关 - 而不是 SQLalchemy - 如duplicate 中所问。 pd.read_sql() 不支持 mysql 连接。此问题不应标记为重复。回答问题:df = pd.DataFrame(table_rows, columns=db_cursor.column_names) 会按照要求做。
  • @kneewarp 您应该将此作为答案发布。接受的答案不适用于 OP 请求的 MySQL 连接。

标签: python mysql sql pandas numpy


【解决方案1】:

IMO 使用 pandas 从 MySQL 服务器读取数据会更有效率:

from sqlalchemy import create_engine
import pandas as pd

db_connection_str = 'mysql+pymysql://mysql_user:mysql_password@mysql_host/mysql_db'
db_connection = create_engine(db_connection_str)

df = pd.read_sql('SELECT * FROM table_name', con=db_connection)

这也应该注意列名...

【讨论】:

  • 在我的情况下这有效,但在我关闭连接之前无法直接查询表:db_connection.close()
  • 根据stackoverflow.com/questions/42118750/…。我决定改用 MySQLdb,如何在 MySQLdb 中实现呢?
  • 也可以使用mysql.connect连接数据库(而不是导入两个包sqlalchemy & pymysql)然后可以使用pd.read_sql函数
  • db_connection.close() 报错,无法连接mysql服务器
  • 关闭连接:>>> db_connection.dispose()
猜你喜欢
  • 1970-01-01
  • 2011-10-15
  • 2019-03-21
  • 2016-06-17
  • 2011-04-13
  • 2018-03-02
  • 2019-09-28
  • 2015-05-21
  • 2018-02-05
相关资源
最近更新 更多