varchar 类型的 SQL 列在读入 SAS 时创建 � 符号

Question

我正在使用基本的 libname 和数据步骤从 SQL 表中将数据读入 SAS。但是，某些“特殊字符”（在本例中为破折号）被读取为带有问号的黑色菱形：�

我知道这是由编码问题引起的 - SQL 列的数据类型为 varchar，SAS 无法正确读取（请详细说明为什么会发生这种情况）。我知道的一个解决方案是将列更改为输入nvarchar；但是，我不拥有数据库，因此无法更改。

我尝试了各种与编码、inencoding 和 outencoding 相关的选项（在 libname 和 data 步骤中），但无法获得正确的组合，如果有的话。

我目前的解决方法是创建一个使用CAST 转换数据类型的视图，并将视图读入 SAS。但是，我确信必须有一个编码解决方案 - 有人知道吗？

Answer 1

在 ASCII 中，“U+FFFD � REPLACEMENT CHARACTER”用于替换未知、无法识别或无法表示的字符。如果这是唯一引起您问题的字符，您可以简单地将其转换为破折号。

例如，让我们用破折号替换 � 值：

data have;
    length character $20.;
    infile datalines dlm=',';
    input character$;
    datalines;
Sugar�free
Camera�ready
Custom�built
;
run;

data want;
    set have;

    character = tranwrd(character, '�', '-');
run;

如果这不起作用，这里有一个替代选项。

第 1 步：查找字符的单个示例并获取其 ASCII 十六进制代码

data hex_code;
    set have(obs=1);
    ascii_hex = put(substr(character, 6, 1), $hex.);
run;

在这种情况下，十六进制代码是1A。我们可以将其用作十六进制文字来替换违规字符。

第 2 步：将 tranwrd 与您找到的十六进制文字一起使用

SAS 会自动将'1A'x 理解为十六进制值，并将在字符串中搜索它。如果找到，tranwrd 将用破折号替换所有实例。

data want;
    set have;

    character = tranwrd(character, '1A'x, '-');
run;