任何人都可以解释 UTF-8 的“同一件事”问题吗？

Question

引用自here：

安全性也可能受到几个字符的特性的影响 编码，包括 UTF-8：“相同的东西”（就用户而言 tell) 可以由几个不同的字符序列表示。为了 例如，带有重音的 e 可以由预先组合的 U+00E9 E ACUTE 字符或规范等效序列 U+0065 U+0301（E + 合并急性）。尽管 UTF-8 提供了 每个字符序列的单字节序列，存在 “同一事物”的多个字符序列可能具有安全性 每当字符串匹配、索引时的后果，

这是我以前从未处理过的 UTF-8 的隐藏特性吗？

Answer 1

非常简短且可视化的示例：字符“é”可以使用 Unicode 代码点 U+00E9（带尖音的拉丁小写字母 E，é）或序列 U+0065（拉丁小写字母 E）来表示, e) 后跟 U+0301（组合重音，´），它们一起看起来像这样：é。

在 UTF-8 中，é 的字节序列为 xC3 xA9，而é 的字节序列为 x65 xCC x81。

_{注意：由于技术限制，本文不包含实际的组合字符。}

Answer 2

这个问题实际上根本不是 UTF-8 特有的。所有可以表示所有（或至少大多数）Unicode 代码点的编码都会发生这种情况。

Unicode 的一般思想是不提供所谓的pre-composed characters（例如U+00E9 E ACUTE），而是他们通常喜欢提供基本字符（例如U+0065 LATIN SMALL LETTER E）和组合字符（例如U+0301 COMBINING ACUTE ACCENT）。这样做的好处是不必提供所有可能的组合作为自己的字符。

注意：the U+xxxx notation is used to refer to unicode codepoints。这是引用 Unicode 字符的与编码无关的方式。

然而当 Unicode 最初被设计时，一个重要的目标是为现有的、广泛使用的编码提供往返兼容性，因此 一些 预先组合的字符被包括在内（事实上大部分来自拉丁字母和相关字母的变音符号都包括在内）。

所以是的（和 tl;dr）：在正常工作的支持 Unicode 的应用程序中，U+00E9 应该以相同的方式呈现 并且与 U 的处理方式相同+0065 后跟 U+0301。

有一个名为normalization 的重要过程通过将给定字符串减少为四种范式之一来帮助处理这些差异。

例如，传递两个字符串（U+00E9 和 U+0065 U+0301）在使用 NFC 时将导致 U+00E9，在使用 NFD 时将导致 U+0065 U+0301。

Answer 3

其实我不明白这是什么意思：

"尽管 UTF-8 为每个字符提供了一个单字节序列 序列[...]"

这句话想说的是：

“任何给定的 Unicode 代码点序列都通过 UTF-8 编码映射到一个（并且恰好是一个）字节序列。”也就是说，UTF-8 是（抽象）Unicode 代码点和字节序列之间的双射。

文本想要说明的问题是，“文本的字母”（通常理解）和 Unicode 代码点之间没有双射，因为可以表示相同的文本通过不同的 Unicode 代码点序列（如示例中所述）。

其实这和 UTF-8 没有什么特别的关系；它是 Unicode 的一个基本属性：许多文本有多个表示为 Unicode 代码点。在比较以 Unicode 表示的文本（无论采用何种编码）时，请牢记这一点。

对此的一个（部分）解决方案是normalization。它为 Unicode 文本定义了各种标准形式，它们是文本的唯一表示。