如何正确判断文本文件的字符编码？

Question

这是我的情况：我需要正确确定给定文本文件使用哪种字符编码。希望它可以正确返回以下类型之一：

enum CHARACTER_ENCODING
{
    ANSI,
    Unicode,
    Unicode_big_endian,
    UTF8_with_BOM,
    UTF8_without_BOM
};

到目前为止，我可以通过调用以下函数正确判断文本文件是Unicode、Unicode big endian 或UTF-8 with BOM。如果给定的文本文件最初不是UTF-8 without BOM，它还可以正确确定ANSI。 问题是当文本文件为UTF-8 without BOM时，下面的函数会误认为是ANSI文件。

CHARACTER_ENCODING get_text_file_encoding(const char *filename)
{
    CHARACTER_ENCODING encoding;

    unsigned char uniTxt[] = {0xFF, 0xFE};// Unicode file header
    unsigned char endianTxt[] = {0xFE, 0xFF};// Unicode big endian file header
    unsigned char utf8Txt[] = {0xEF, 0xBB};// UTF_8 file header

    DWORD dwBytesRead = 0;
    HANDLE hFile = CreateFile(filename, GENERIC_READ, FILE_SHARE_READ, NULL, OPEN_EXISTING, FILE_ATTRIBUTE_NORMAL, NULL);
    if (hFile == INVALID_HANDLE_VALUE)
    {
        hFile = NULL;
        CloseHandle(hFile);
        throw runtime_error("cannot open file");
    }
    BYTE *lpHeader = new BYTE[2];
    ReadFile(hFile, lpHeader, 2, &dwBytesRead, NULL);
    CloseHandle(hFile);

    if (lpHeader[0] == uniTxt[0] && lpHeader[1] == uniTxt[1])// Unicode file
        encoding = CHARACTER_ENCODING::Unicode;
    else if (lpHeader[0] == endianTxt[0] && lpHeader[1] == endianTxt[1])//  Unicode big endian file
        encoding = CHARACTER_ENCODING::Unicode_big_endian;
    else if (lpHeader[0] == utf8Txt[0] && lpHeader[1] == utf8Txt[1])// UTF-8 file
        encoding = CHARACTER_ENCODING::UTF8_with_BOM;
    else
        encoding = CHARACTER_ENCODING::ANSI;   //Ascii

    delete []lpHeader;
    return encoding;
}

这个问题困扰了我很长时间，我仍然找不到好的解决方案。任何提示将不胜感激。

Answer 1

对于初学者来说，没有像“Unicode”这样的物理编码。您的意思可能是 UTF-16。其次，任何文件在“ANSI”或任何单字节编码中都是有效的。您唯一能做的就是猜测以最有可能抛出无效匹配的最佳顺序。

您应该按以下顺序检查：

• 开头是否有 UTF-16 BOM？那么它可能是UTF-16。使用 BOM 指示它是大端还是小端，然后检查文件的其余部分是否符合。
• 开头是否有 UTF-8 BOM？那么它可能是UTF-8。检查文件的其余部分。
• 如果以上没有产生正匹配，请检查整个文件是否是有效的 UTF-8。如果是，则可能是 UTF-8。
• 如果上述结果没有得到肯定匹配，则可能是 ANSI。

如果您也希望 UTF-16 文件 没有 BOM（例如，在 XML 声明中指定编码的 XML 文件是可能的），那么您必须在其中插入该规则也是。尽管上述任何一项都可能产生误报，但会将 ANSI 文件错误地识别为 UTF-*（尽管它不太可能）。您应该始终拥有 元数据 来告诉您文件的编码方式，事后检测到它是不可能的 100% 准确。