Python 2.7 - 带有来自 pyodbc 的数据的 Pandas UnicodeEncodeError

Question

我正在尝试使用 pyodbc 从 SQL Server 提取数据并将其加载到数据帧中，然后将其导出到 HTML 文件，但我不断收到以下 Unicode 错误：

UnicodeEncodeError: 'ascii' codec can't encode character u'\u2019' in position 15500: ordinal not in range(128)

这是我当前的设置（每个 docs 的编码说明）：

cnxn =  pyodbc.connect('DSN=Planning;UID=USER;PWD=PASSWORD;')
cnxn.setdecoding(pyodbc.SQL_CHAR, encoding='cp1252', to=unicode)
cnxn.setdecoding(pyodbc.SQL_WCHAR, encoding='cp1252', to=unicode)
cnxn.setdecoding(pyodbc.SQL_WMETADATA, encoding='cp1252', to=unicode)
cnxn.setencoding(str, encoding='utf-8')
cnxn.setencoding(unicode, encoding='utf-8')
cursor = cnxn.cursor()

with open('Initial Dataset.sql') as f:
    initial_query = f.read()

cursor.execute(initial_query)
columns = [column[0] for column in cursor.description]
initial_data = cursor.fetchall()
i_df = pd.DataFrame.from_records(initial_data, columns=columns)
i_df.to_html('initial.html')

需要注意的一个奇怪但有用的一点是，当我尝试导出 CSV 时：

i_df.to_csv('initial.csv')

我得到同样的错误，但是当我添加时：

i_df.to_csv('initial.csv', encoding='utf-8')

它有效。有人可以帮我理解这个编码问题吗？

旁注：我也尝试过使用sqlalchemy 连接和pandas.read_sql()，但同样的错误仍然存​​在。

Answer 1

this question 上的第二个答案似乎是一个可以接受的解决方法，除了 Python 2.x 用户，您必须使用io，所以：

import io

html = df.to_html()
with io.open("mypage.html", "w", encoding="utf-8") as file:
    file.write(html)

它未包含在最新版本中，但看起来pandas 的下一个版本将为to_html() 提供encoding 选项，请参阅docs（第2228 行）。