SQLAlchemy read_sql() 进入 Pandas 数据框 - 大列值被截断

Question

我正在尝试从 MySQL 表中读取数据，其中一列包含较大的 varchar 值，例如长度49085。当我将查询结果读入数据框时，列值被截断为 87 个字符。请参阅下面的代码和输出。有谁知道我如何在不截断的情况下读取整个字符串？

在下面的代码中，表 test 包含一列 description，其中一行的字符串长度为 49085。

代码：

import sys
import os
from sqlalchemy import create_engine
import pandas as pd

db_connection_str = 'mysql+pymysql://username:password@host/db_name'
db_connection = create_engine(db_connection_str)

#this returns 1 row where the value in the description field is of length 49085
df = pd.read_sql("select id, description, length(description) as len from myTable where length(description) = 49085", con=db_connection)

#this returns the truncated value of length 87
print(df)
len(str(df['description']))

输出：

   id                                             description    len
0  1  This document is for the testing Team.\n\nThe attach...  49085
87

Answer 1

你被len(str(df['description']))误导了。 df['description'] 返回一个 <class 'pandas.core.series.Series'> 对象，如果我们在其上调用 str()，我们会得到

'0    xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx...\nName: description, dtype: object'

对于系列中任意大的字符串，该字符串的长度将为 87。要测试字符串的实际长度，请使用

print(len(df['description'][0]))

或类似的。