将 ASCII 字符转换为“<Uxxx>”Unicode 表示法的脚本

Question

我正在对 Linux 语言环境文件 /usr/share/i18n/locales（如 pt_BR）进行一些更改，并且要求格式字符串（如 %d-%m-%Y %H:%M）必须以 Unicode 格式指定，其中每个（在本例中为 ASCII）字符表示为<U00xx>。

所以这样的文字：

LC_TIME
d_t_fmt "%a %d %b %Y %T %Z"
d_fmt   "%d-%m-%Y"
t_fmt   "%T"

必须是：

LC_TIME
d_t_fmt "<U0025><U0061><U0020><U0025><U0064><U0020><U0025><U0062><U0020><U0025><U0059><U0020><U0025><U0054><U0020><U0025><U005A>"
d_fmt   "<U0025><U0064><U002D><U0025><U006D><U002D><U0025><U0059>"
t_fmt   "<U0025><U0054>"

因此，我需要一个命令行脚本（无论是 bash、Python、Perl 还是其他），它会接受像 %d-%m-%Y 这样的输入并将其转换为 <U0025><U0064><U002D><U0025><U006D><U002D><U0025><U0059>。

输入字符串中的所有字符都是 ASCII 字符（从 0x20 到 0x7F），所以这实际上是一种更高级的“字符到十六进制字符串”转换。

谁能帮帮我？我在 bash 脚本方面的技能非常有限，在 Python 方面更差。

优雅、解释性解决方案的奖励。

谢谢！

（顺便说一句，这将是我的previous question 的“反向”脚本）

Answer 1

使用 Python

#!/usr/bin/env python3.2
import sys
text = sys.argv[1]
encoded = "".join("<U{0:04X}>".format(ord(char)) for char in text)
print(encoded)

用法：

$ python3 file.py "enter_input"
<U0065><U006E><U0074><U0065><U0072><U005F><U0069><U006E><U0070><U0075><U0074>

（相同的脚本应该适用于 python 3.x 和 2.x。只需在 shebang 中更改版本 到你拥有的那个。）

解释：

1. 我们需要导入the sys module 来读取命令行参数。

2. sys.argv list 是所有命令行参数的列表。条目 [0] 是程序名称，条目 [1] 是第一个参数，依此类推。

3. f(char) for char in text 是一个generator expression。它将循环遍历text 变量中的每个字符，然后对其应用函数f，最后将结果收集为惰性列表（iterable）。

4. ord(char) 查找字符的 Unicode 代码点。

5. "<U{0:04X}>".format(x) 是一种字符串格式化方法，如名称所述。格式化字符串接受1个输入x，格式化成04X format，意思是前导零，宽度4，大写十六进制。

6. "".join(it) 连接惰性列表（可迭代）it 中的所有元素。 "" 表示分隔符是一个空字符串。

7. print(encoded) 将字符串encoded 写入标准输出。

Answer 2

文件输入的每个字符

如果您想将文件的 每个 字符转换为 unicode 表示，那么它就是这个简单的单行

while IFS= read -r -n1 c;do printf "<U%04X>" "'$c"; done < ./infile

---

STDIN 上的每个字符

如果你想制作一个类似 unix 的工具，将 STDIN 上的输入转换为类似 unicode 的输出，那么使用这个：

uni(){ c=$(cat); for((i=0;i<${#c};i++)); do printf "<U%04X>" "'${c:i:1}"; done; }

概念证明

$ echo "abc" | uni
<U0061><U0062><U0063>

---

只有双引号之间的字符

#!/bin/bash

flag=0
while IFS= read -r -n1 c; do
    if [[ "$c" == '"' ]]; then
        ((flag^=1))
        printf "%c" "$c"
    elif [[ "$c" == $'\0' ]]; then
        echo
    elif ((flag)); then
        printf "<U%04X>" "'$c"
    else
        printf "%c" "$c"
    fi
done < /path/to/infile

概念证明

$ cat ./unime
LC_TIME
d_t_fmt "%a %d %b %Y %T %Z"
d_fmt   "%d-%m-%Y"
t_fmt   "%T"
abday "Dom";"Seg";/
here is a string with "multiline
quotes";/

$ ./uni.sh
LC_TIME
d_t_fmt "<U0025><U0061><U0020><U0025><U0064><U0020><U0025><U0062><U0020><U0025><U0059><U0020><U0025><U0054><U0020><U0025><U005A>"
d_fmt   "<U0025><U0064><U002D><U0025><U006D><U002D><U0025><U0059>"
t_fmt   "<U0025><U0054>"
abday "<U0044><U006F><U006D>";"<U0053><U0065><U0067>";/
here is a string with "<U006D><U0075><U006C><U0074><U0069><U006C><U0069><U006E><U0065>
<U0071><U0075><U006F><U0074><U0065><U0073>";/

说明

真的很简单

1. while IFS= read -r -n1 c;：一次迭代输入一个字符（通过-n1）并将字符存储在变量c 中。 IFS= 和 -r 标志在那里，因此 read 内置函数不会分别尝试进行分词或解释转义序列。
2. if [[ "$c" == '"' ]];: 如果当前字符是双引号
3. ((flag^=1)): 将 flag 的值从 0->1 或 1->0 取反
4. elif [[ "$c" == $'\0' ]];: 如果当前 char 是 NUL，则 echo 换行
5. elif ((flag))：如果flag为1，则进行unicode音译
6. printf "<U%04X>" "'$c": 进行 unicode 音译的魔法。请注意，$c 之前的单引号是强制性的，因为它告诉 printf 我们正在给它一个数字的 ASCII 表示形式。
7. else printf "%c" "$c": 打印出不执行 unicode 音译的字符

Answer 3

echo -n "aä" | ruby -KU -e '$<.chars{|c| print "<U"+"%04X"%c.unpack("U*")[0]+">"}; puts'

输出<U0061><U00E4>

-KU = $KCODE = "U"

Answer 4

Shell脚本解决方案：

#!/bin/sh

while IFS= read -r -n1 c;
    do printf "<U%04X>" "'$c";
done

这会读取标准输入并打印到标准输出（假设您已将脚本放入可执行文件 toUnicode.sh）：

> echo "hello" | toUnicode.sh
<U0068><U0065><U006C><U006C><U006F><U0000>

这确实会打印 EOF 字符（<U0000>），但您可以更改此脚本以满足您的需要，无论您是想一次读取一行输入，还是修剪它或以另一种方式更改它。