【问题标题】:Python/MariaDB: Converting .csv data to Data-frames and exporting to DatabasePython/MariaDB:将 .csv 数据转换为数据帧并导出到数据库
【发布时间】:2018-06-20 17:02:21
【问题描述】:

对于我正在进行的项目,我正在尝试读取存储为 csv 文件的传感器数据并将其发送到数据库。经过一番讨论,我们意识到将 .csv 数据转换为数据框最容易审计到数据库。我已成功将数据转换为数据框(耶!),但在将数据框导出到数据库时遇到了问题。这是我的代码:

#first we must convert the data into a dataframe
import pandas as pd 
fileName = 'testing1.csv'
df = pd.read_csv('C:/Users/danie/Desktop/testing1.csv')

#Now we must send
from sqlalchemy import create_engine
engine = create_engine('mysql://root:mysecretpassword6@localhost:mysecrethost/mysecretdatabasename') 
#change to connect your mysql

df.to_sql(name='dataframes',con=engine,if_exists='append',index=False) 

当我尝试发送数据帧时,出现以下错误:

_mysql_exceptions.OperationalError) (1054, "Unknown column '10' in 'field 
list'") [SQL: 'INSERT INTO dataframes (`10`, `25`, `25.1`, `25.2`, `25.3`, 
`25.4`) VALUES (%s, %s, %s, %s, %s, %s)'] [parameters: ((20, 486, 486, 486, 
486, 486), (30, 286, 286, 286, 286, 286), (40, 286, 286, 286, 286, 286), (50, 
289, 289, 289, 289, 289), (60, 262, 262, 262, 262, 262), (70, 5, 5, 5, 5, 5), 
(80, 154, 154, 154, 154, 154), (90, 5151, 5151, 5151, 5151, 5151)  ... 
displaying 10 of 13 total bound parameter sets ...  (130, 181, 181, 181, 181, 
181), (140, 151, 151, 151, 151, 151))] (Background on this error at: 
http://sqlalche.me/e/e3q8)

错误的背景并不能帮助我解决问题。但是我发现了一个问题。如果我在 python 上打印数据帧(df),这就是我得到的: Sorry couldn't format it properly so I uploaded an image 现在这是一个问题,因为我创建数据框的测试 .csv 文件没有相同的数据。这是一张图片:Where you can clearly see there is no '10, 25, 25.1, 25.2, 25.3, 25.4 values.

我将尝试创建一个新文件并对其进行测试以查看它是否有效,但我的数据库中已创建了所有正确的列。我不明白为什么数据框从 .csv 中读取不存在的值。或者我的代码没有看到任何错误。

我真的很感激我能在这个错误上得到任何帮助。

非常感谢。

edit1:我应该注意这不是真实的传感器数据。这是一个试用文件。

edit2:我尝试使用新文件和新数据。同样的错误。据我所知,数据框跳过了 .csv 文件的第一行,并且没有将其正确插入数据框。这就是我的意思:

     10    25  25.1  25.2  25.3  25.4
0    20   486   486   486   486   486 

【问题讨论】:

    标签: python mysql dataframe mariadb


    【解决方案1】:

    我发现了这个问题。 df.to_sql 行试图将 csv 文件的第一行作为列标题。轻松修复,只需在 csv 文件中编辑它们以反映您希望它们在数据库中的名称。 IE,将 .csv 文件中的数据下移一行并添加列标题。

    见:Excel fix.DB Fix.Python Fix

    【讨论】:

      猜你喜欢
      • 1970-01-01
      • 2018-05-11
      • 1970-01-01
      • 2013-06-17
      • 1970-01-01
      • 1970-01-01
      • 2017-02-04
      • 1970-01-01
      • 1970-01-01
      相关资源
      最近更新 更多