如何修复语言环境？

Question

添加 ru_RU.CP1251 语言环境（在 debian 上取消注释 ru_RU.CP1251 在 /etc/locale.gen 并运行 sudo locale-gen）和 使用gcc -fexec-charset=cp1251 test.c 编译以下程序（输入文件为UTF-8 格式）。结果是空的。只是字母“я”是错误的。 其他字母确定是小写还是大写都可以。

#include <locale.h>
#include <ctype.h>
#include <stdio.h>
int main (void)
{
  setlocale(LC_ALL, "ru_RU.CP1251");
  char c = 'я';
  int i;
  char z;
  for (i = 7; i >= 0; i--) {
    z = 1 << i;
    if ((z & c) == z) printf("1"); else printf("0");
  }
  printf("\n");

  if (islower(c))
    printf("lowercase\n");
  if (isupper(c))
    printf("uppercase\n");
  return 0;
}

为什么islower() 和isupper() 都不能处理я 的字母？

Answer 1

Jonathan Leffler 对 OP 的第一条评论是正确的。需要isxxx()（和iswxxx()）函数来处理EOF（WEOF）参数 （可能是万无一失的）。 这就是选择int 作为参数类型的原因。当我们传递 char 类型的参数或字符文字时，它是 提升为int（保留标志）。而且因为默认情况下char 类型和字符文字在 gcc 中签名， 0xFF 变成了-1，这不巧是EOF 的值。

因此总是在将 char 类型的参数（以及代码为 0xFF 的字符文字）传递给函数时，使用 int 参数类型进行显式类型转换（不要指望 char 的无符号性，因为它是实现定义的）。类型转换可以通过(unsigned char) 完成，也可以通过(uint8_t) 完成，后者的类型更少（您必须包含stdint.h）。

另请参阅https://sourceware.org/bugzilla/show_bug.cgi?id=20792 和 Why passing char as parameter to islower() does not work correctly?

Answer 2

答案是 CP 1251 中该字符的小写版本的编码是十进制 255，而您的实现的 islower() 和 isupper() 不接受或返回该值（通常被解释为 EOF） .

您需要跟踪运行时库的源代码，以了解它的作用和原因。

解决方案是编写您自己的实现，或者包装您拥有的实现。就个人而言，我从不直接使用这些函数，因为有很多陷阱。

Answer 3

Igor，如果您的文件是 UTF-8，那么尝试使用代码页 1251 是没有意义的，因为它与 utf-8 编码没有任何共同之处。只需使用语言环境ru_RU.UTF-8，您就可以毫无问题地显示您的文件。或者，如果您坚持使用ru_RU.CP1251，则需要先将文件从utf-8 编码转换为cp1251（您可以使用iconv(1) 实用程序）

iconv --from-code=utf-8 --to-code=cp1251 your_file.txt > your_converted_file.txt

另一方面，--fexec-charset=cp1251 仅影响可执行文件中使用的字符，但您尚未在源代码中指定要在字符串文字中使用的输入字符集。可能，编译器是根据环境（您在 LANG 或 LC_CHARSET 环境变量中设置的）来确定的

只有在您准确控制每个阶段使用的语言环境后，您才能获得一致的结果。

努力将所有国家/地区切换为通用字符集 (UTF) 的主要原因正是为了不必在每个阶段处理所有这些语言环境设置。

如果您总是处理以 CP1251 编码的文档，则您需要对计算机上的所有内容使用该编码，但是当您收到一些以 utf-8 编码的文档时，您必须将其转换为能够正确看待它。

我主要建议您切换到 utf-8，因为它是一种支持所有国家/地区字符集的编码，但目前，这个决定只属于您。

注意

在 debian linux 上：

$ sed 's/^/    /' pru-$$.c 
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <ctype.h>
#include <locale.h>

#define P(f,v) printf(#f"(%d /* '%c' */) => %d\n", (v), (v), f(v))
#define Q(v) do{P(isupper,(v));P(islower,(v));}while(0)

int main()
{
    setlocale(LC_ALL, "");
    Q(0xff);
}

编译

$ make pru-$$
cc    pru-1342.c   -o pru-1342

使用ru_RU.CP1251 语言环境执行

$ locale | sed 's/^/    /'
LANG=ru_RU.CP1251
LANGUAGE=
LC_CTYPE="ru_RU.CP1251"
LC_NUMERIC="ru_RU.CP1251"
LC_TIME="ru_RU.CP1251"
LC_COLLATE="ru_RU.CP1251"
LC_MONETARY="ru_RU.CP1251"
LC_MESSAGES="ru_RU.CP1251"
LC_PAPER="ru_RU.CP1251"
LC_NAME="ru_RU.CP1251"
LC_ADDRESS="ru_RU.CP1251"
LC_TELEPHONE="ru_RU.CP1251"
LC_MEASUREMENT="ru_RU.CP1251"
LC_IDENTIFICATION="ru_RU.CP1251"
LC_ALL=

$ pru-$$
isupper(255 /* 'я' */) => 0
islower(255 /* 'я' */) => 512

所以，glibc 没有问题，问题出在你的代码中。