UnicodeDecodeError：“ascii”编解码器无法解码位置 19 中的字节 0xc3：序数不在范围内（128）答案

【问题标题】：UnicodeDecodeError: 'ascii' codec can't decode byte 0xc3 in position 19: ordinal not in range(128)UnicodeDecodeError：“ascii”编解码器无法解码位置 19 中的字节 0xc3：序数不在范围内（128）
【发布时间】：2016-11-12 06:20:57
【问题描述】：

再次发布之前的帖子，其中包含 API 令牌。我正在从网站上抓取数据：这是代码：

reload(sys)
sys.setdefaultencoding('utf-8-sig')

def __unicode__(self):
   return unicode(self.some_field) or u''
def daterange(start_date, end_date):
    for n in range(int ((end_date - start_date).days)):
        yield start_date + timedelta(n+1)
#def is_ascii(s):
    #return all(ord(c) < 128 for c in s)
date=''
min_date=''
max_date=''
if sys.argv[1] == 'today':
    min_date = datetime.today() - timedelta(1)
    max_date = datetime.today()
elif sys.argv[1] == 'yesterday':
    min_date = datetime.today() - timedelta(2)
    max_date = datetime.today() - timedelta(1)
else:
    min_date = datetime.strptime(sys.argv[1], "%Y-%m-%d") - timedelta(1)
    max_date = datetime.strptime(sys.argv[2], "%Y-%m-%d")
siteIDs = [37]
for id in siteIDs:
    for date in daterange(min_date, max_date):
        response_data = {}
        url = 'http://survey.modul.ac.at/piwikAnalytics/?module=API&method=Live.getLastVisitsDetails&idSite=' + str(id) + '&format=csv&token_auth=' + token_auth + '&period=day&date=' + date.strftime('%Y-%m-%d') + '&filter_limit=2000'
        try:
            response=requests.get(url,timeout=100)
            response_url=response.url
            response_data=urllib.urlopen(url)

        except (requests.exceptions.Timeout,requests.exceptions.RequestException,requests.exceptions.HTTPError,requests.exceptions.ConnectionError,socket.error) as e  :
            response_data="error"
        with codecs.open('raw_csv/piwik_'+ str(id) + '_' + date.strftime('%Y-%m-%d')+ '.csv', 'wb',encoding='utf-8-sig') as fp: 
                fp.write(response.text)

在输出中，“idSite”列显示为“ï»¿ï»¿idSite”。我尝试通过以下代码将其删除：

import pandas as pd

df = pd.read_csv("piwik_37_2016-07-08.csv", dtype = "unicode", encoding="utf-8-sig")
df.to_csv("abc.csv")

但是我得到了上面提到的 Unicode 错误

【问题讨论】：

Is there an easy way to make unicode work in python?的可能重复
您在执行读取操作时获得 unicode 值。在将这些 unicode 字符写入 csv 文件之前，需要将其转换为字节。所以，你必须这样做：df.to_csv("abc.csv", encoding='utf-8')

标签： python python-2.7 pandas unicode

【解决方案1】：

从字符串中删除所有非 ASCII 字符的一种蛮力方法是：

import re
# substitute sequence of non-ASCII characters with single space
str = re.sub(r'[^\x00-\x7F]+',' ', str)

希望对你有帮助

【讨论】：