【问题标题】:Only part of long string is written to database with pandas write_frame使用 pandas write_frame 仅将部分长字符串写入数据库
【发布时间】:2013-11-27 05:51:30
【问题描述】:

我正在将 pandas DataFrame 写入 MySql 数据库。以下是它在屏幕上的显示方式。

                IP                                              Agent
0  108.225.156.214  Mozilla/5.0 (Windows NT 6.1; WOW64; rv:19.0) G...
1   125.214.169.32  Mozilla/5.0 (Symbian/3; Series60/5.3 NokiaN8-0...
2   125.214.169.32  Mozilla/5.0 (compatible; MSIE 9.0; Windows Pho...

我将带有用户代理字符串的DataFrame 写入数据库,如下所示。

db = MySQLdb.connect("host","user","","db")
cursor = db.cursor()
cursor.execute("DROP TABLE IF EXISTS Pattern")

sql.write_frame(df, con=db,name = 'Pattern',flavor='mysql')
db.close()

问题只是用户代理字符串的第一部分被写入数据库?(就像屏幕上显示的那样)。如何避免这种情况?

更新

一个示例数据框:

df = pd.DataFrame({'IP':['108.225.156.214','141.0.8.111','94.174.16.147'],'UserAgent':['Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_3) AppleWebKit/536.29.13 (KHTML, like Gecko) Version/6.0.4 Safari/536.29.13','Mozilla/5.0 (Linux; Android 4.1.2; GT-I9300T Build/JZO54K) AppleWebKit/537.31 (KHTML, like Gecko) Chrome/26.0.1410.58 Mobile Safari/537.31','Opera/9.80 (J2ME/MIDP; Opera Mini/4.4.28684/29.3530; U; en) Presto/2.8.119 Version/11.10']})

【问题讨论】:

  • @alko:这个 DataFrame 是使用 Apache 日志文件构建的。示例用户代理......"Mozilla/4.0(兼容;MSIE 8.0;Windows NT 5.1;Trident/4.0;.NET CLR 2.0.50727;.NET CLR 3.0.4506.2152;.NET CLR 3.5.30729;InfoPath .2)"
  • @alko:请参考我对问题的更新。

标签: python mysql pandas dataframe


【解决方案1】:

当您手动删除表时(使用 recreate=True 参数可以实现相同的行为),原因似乎在于创建语句,对于您的情况,该语句生成为

CREATE TABLE pattern (
  `IP` VARCHAR (63),
  `UserAgent` VARCHAR (63)
                  );

这里63 是来自pandas.io.sql.get_sqltype 的硬编码常量

我认为一个解决方案是预先创建具有所需结构的表格,例如

CREATE TABLE pattern (
  `IP` VARCHAR (15),
  `UserAgent` VARCHAR (1000));

并且不使用 drop 语句清空它(从 dba 的角度来看,这是一种不好的做法),而是使用 delete from pattern 语句。

为了进一步使用,我将在此处添加用于检查生成的 SQL 的简单模拟连接类:

class MockConnection(object):
   def __init__(self):
       self.query = []
   def executemany(self, *args):
       self.query.append(args)
   def cursor(self):
       return self
   def execute(self, *args):
       self.query.append(args)
   def close(self): pass
   def commit(self): pass

用法如下:

>>> con = MockConnection()
>>> pd.io.sql.write_frame(df, 'test', con, flavor ='mysql')

【讨论】:

  • 是的,那总是为用户代理创建一个 VARCHAR (63)
  • @NilaniAlgiriyage 尝试手动创建表,如我的回答中建议的那样
猜你喜欢
  • 2019-02-04
  • 2014-04-23
  • 2017-09-18
  • 2012-09-09
  • 2018-11-16
  • 2017-07-05
  • 1970-01-01
  • 1970-01-01
  • 1970-01-01
相关资源
最近更新 更多