如何在 C++ 中找到 txt 文件的编码？

Question

。 我是 C++ 新手。我必须找出用户传递的文件包含的编码类型。但我不知道如何检查文件的编码。所以我需要打印文件是unicode还是ansi或unicode big endian还是utf8。我搜索了很多但找不到解决方案。直到现在我已经打开了一个文件：

#include "stdafx.h"
#include <iostream.h>
#include <stdio.h>
#include<conio.h>
#include <fstream>
using namespace std;



int _tmain(int argc, _TCHAR* argv[])
{
    fstream f;
    f.open("c:\abc.txt", fstream::in | fstream::out); /* Read-write. */


    getch();
    return 0;
}

所以请谁能告诉我这个的代码解决方案。

如果我正在访问记事本文件怎么办？

提前谢谢..

Answer 1

你不能。

您可以做的最好的事情是guess it 或将编码保存为文件结构的一部分（如果可以的话）。

Answer 2

正如here 所讨论的那样，您唯一能做的就是guess按照最有可能抛出无效匹配的最佳顺序。

您应该按以下顺序检查：

• 开头是否有 UTF-16 BOM？那么它可能是UTF-16。使用 BOM 指示它是大端还是小端，然后检查文件的其余部分是否符合。
• 开头是否有 UTF-8 BOM？那么它可能是UTF-8。检查文件的其余部分。
• 如果以上没有产生正匹配，请检查整个文件是否为有效的 UTF-8。如果是，则可能是 UTF-8。
• 如果上述结果没有得到肯定匹配，则可能是 ANSI。

Answer 3

您无法知道文本文件的编码是什么。一种方法是在文件开头查找 BOM，这将告诉您文本是否在 Unicode 中。但是，BOM 不是强制性的，因此您不能依赖它来区分 Unicode 和其他编码。

提出这个问题的一个很常见的方法是there is no such thing as plain text。

我是西班牙人，您可以在这里轻松找到 7 位 ASCII、扩展 ASCII、ISO-8859-1（又名拉丁语 1，其中包括西欧所需的许多常见额外字符）和 UTF 格式的文本文件各种口味。

希望这会有所帮助。

Answer 4

文件通常用文件头来表示它们的编码。
正如其他人所建议的那样，您永远无法确定文件真正使用的是什么编码。

按照以下链接了解总体思路：
Using Byte Order Marks
FILE SIGNATURES TABLE

Answer 5

在这里我找到了一种检测记事本文件的方法，无论是 Unicode、Big Endian、UTF8 还是简单的 ANSI 文件：

我发现当我默认将文件保存在记事本中时，它会在文件开头存储标记字节（BOM）。所以我决定按照这个问题中的早期建议使用它。

首先我读取了文件的 1 个字节。 我早就知道了

1. 如果文件是 Unicode 文件，那么它的前两个字符存储 FE FF，即 254 255 是它的十进制等价物。
2. 如果文件是 UTF8 文件，那么它的第一个字符存储 FF，239 是它的十进制等值。

这里是代码：

#include<conio.h>
#include<stdio.h>
#include<string.h>
int main()
{
        FILE *fp=NULL;
        int c;
        int i = 0;
        fp=fopen("c:\\abc.txt","rb");

        if (fp != NULL)
        {
            while (i<=3)
            {
                        c = fgetc(fp);    
                        printf("%d",c);
                            if(c==254)
                            {
                                printf("Unicode Big Endian File");
                            }
                            else if(c==255)
                            {
                                printf("Unicode Little Endian File");
                            }
                            else if(c==239)
                            {
                                printf("UTF8  file");
                            }
                            else 
                            {
                                printf("ANSI File");
                            }

              }
              fclose(fp);

       }

        
        getchar();

    return 0;
}

这对我来说很好。希望对其他人也有用。

Answer 6

用记事本++打开你的文件，进入顶部菜单的编码查看文件See here的编码类型