在 Python 中检测字符集并转换为 utf-8？ [复制]

Question

是否有任何通用的方法来检测字符串字符集？我使用 IPTC 标签并且没有已知的编码。我需要检测它，然后将它们更改为 utf-8。

有人可以帮忙吗？

Answer 1

你想使用chardet，一个编码检测器

Answer 2

有点晚了，不过还有一个解决办法：尝试使用pyicu。

一个例子：

import icu
def convert_encoding(data, new_coding='UTF-8'):
    coding = icu.CharsetDetector(data).detect().getName()
    if new_coding.upper() != coding.upper():
        data = unicode(data, coding).encode(new_coding)
    return data

Answer 3

如果你想用 cchardet 来做，你可以使用这个功能。

import cchardet
def convert_encoding(data, new_coding = 'UTF-8'):
  encoding = cchardet.detect(data)['encoding']

  if new_coding.upper() != encoding.upper():
    data = data.decode(encoding, data).encode(new_coding)

  return data

Answer 4

还有另一个模块叫cchardet

据说比chardet快。

注意它需要Cython