BILOU 标签在命名实体识别中的含义是什么？答案

【问题标题】：What do the BILOU tags mean in Named Entity Recognition?BILOU 标签在命名实体识别中的含义是什么？
【发布时间】：2013-06-11 13:44:42
【问题描述】：

标题几乎概括了这个问题。我注意到在一些论文中，人们提到了 NER 的 BILOU 编码方案，而不是典型的 BIO 标记方案（例如 Ratinov 和 Roth 在 2009 年的这篇论文http://cogcomp.cs.illinois.edu/page/publication_view/199）

通过使用 2003 年的 CoNLL 数据，我知道

B stands for 'beginning' (signifies beginning of an NE)
I stands for 'inside' (signifies that the word is inside an NE)
O stands for 'outside' (signifies that the word is just a regular word outside of an NE)

虽然有人告诉我 BILOU 中的单词代表

B - 'beginning'
I - 'inside'
L - 'last'
O - 'outside'
U - 'unit'

我还看到人们引用另一个标签

E - 'end', use it concurrently with the 'last' tag
S - 'singleton', use it concurrently with the 'unit' tag

我对 NER 文献还很陌生，但我一直无法找到清楚解释这些标签的东西。我的问题特别涉及“last”和“end”标签之间的区别，以及“unit”标签代表什么。

【问题讨论】：

你能把引用放在“我还看到人们引用另一个标签”上吗？

标签： nlp named-entity-recognition

【解决方案1】：

基于 Clear TK 中的 issue 和 patch，BILOU 似乎代表“多令牌块的开始、内部和最后一个令牌，单位长度块和外部”（强调）。比如括号里的分块

(foo foo foo) (bar) no no no (bar bar)

可以用 BILOU 编码为

B-foo, I-foo, L-foo, U-bar, O, O, O, B-bar, L-bar

【讨论】：

我感觉就是这样。这似乎是一个奇怪的变化，因为完全相同的信息可以仅通过 BIO 标签进行通信。我想切换到 BILOU 是为了提高 ML 算法的性能。
true，但 BILOU 边界将是隐式的。你也可以争辩说，只使用一个标签也能起到同样的效果。通常，附加标签会在分类后提供更多有用的信息，以解释有问题的边缘情况。
仅使用单个“非外”标签，即仅 (I)nside 和 (O)utside，不足以区分后续实体，例如no (foo bar) (baz) no = O I I I O = no (foo bar baz) no
是的，但是没有人说你只用IO，对吧？ OP说BIO相当于BILOU。你的例子仍然适用于 BIO。我也没有看到太大的区别（关于它们应该是等效的信息）。弗拉迪斯拉夫的实验有点支持。

【解决方案2】：

我想补充一些比较 BIO 和 BILOU 方案的经验。我的实验只针对一个数据集，可能不具有代表性。

我的数据集包含大约 35,000 个简短的话语（2-10 个标记），并使用 11 个不同的标签进行注释。也就是说，有 11 个命名实体。

使用的特征包括单词、左右2-grams、1-5个字符ngrams（除了中间的）、形状特征等。很少有实体也有地名录支持。

我打乱了数据集并将其分成 80/20 部分：训练和测试。这个过程重复了 5 次，对于每个实体，我记录了 Precision、Recall 和 F1-measure。性能是在实体级别衡量的，而不是像 Ratinov & Roth，2009 年的论文中那样在令牌级别进行衡量。

我用来训练模型的软件是 CRFSuite。我使用了 c1=0 和 c2=1 的 L-BFGS 求解器。

首先，5折比较的测试结果非常相似。这意味着每次运行几乎没有变化，这很好。其次，BIO 方案的性能与 BILOU 方案非常相似。如果有任何显着差异，可能是在 Precision、Recall 和 F1-measures 中的句号之后的第三位或第四位。

结论：在我的实验中，BILOU 方案并不比 BIO 方案好（但也不差）。

【讨论】：

【解决方案3】：

B = Beginning
I/M = Inside / Middle
L/E = Last / End
O = Outside
U/W/S = Unit-length / Whole / Singleton

所以 BILOU 与 IOBES 和 BMEWO 相同。

Cho 等人。比较不同 IO、IB、IE、IOB、IOBES 等注释变体的性能。 https://www.academia.edu/12852833/Named_entity_recognition_with_multiple_segment_representations

还有 BMEWO+，它将有关周围词类的更多信息放在外部标记（因此为“O plus”）。在此处查看详细信息https://lingpipe-blog.com/2009/10/14/coding-chunkers-as-taggers-io-bio-bmewo-and-bmewo/

【讨论】：

【解决方案4】：

这只是为您的标签提供更多上下文，说明实体的哪个部分。

 BILOU Method/Schema

 | ------|--------------------|
 | BEGIN | The first token    |
 | ------|--------------------| 
 | IN    | An inner token     |
 | ------|--------------------|
 | LAST  | The final token    |
 | ------|--------------------|
 | Unit  | A single-token     |
 | ------|--------------------|
 | Out   | A non-entity token |
 | ------|--------------------|

生物

一种更复杂的注释方法可以区分命名实体的结尾和单个实体。这种方法称为 BIOES 用于 Begin、Inside、Outside、End、Single。

IOB（例如 CoNLL 2003）

IOB（或 BIO）代表开始、内部和外部。带有 O 标记的单词在命名实体之外

更多详细信息请点击以下链接

    URL : https://en.wikipedia.org/wiki/Inside%E2%80%93outside%E2%80%93beginning_(tagging)

    URL :https://towardsdatascience.com/deep-learning-for-ner-1-public-datasets-and-annotation-methods-8b1ad5e98caf

【讨论】：

【解决方案5】：

B - '开始'
我 - '里面'
L - “最后一个”
O - '外部/其他'
U - 'unigram'

【讨论】：

【解决方案6】：

BIO 与BILOU 相同，除了以下几点：

在BILOU 中，特定I“集群”中的最后一个I 标记将转换为L。例如。

BIO - B-foo, I-foo, I-foo, O, O, O, B-bar, I-bar
BILOU - B-foo, I-foo, L-foo, O, O, O, B-bar, L-bar

在BILOU 中，any 独立标记转换为U 标记。例如。

BIO - B-foo, O, O, O, B-bar
BILOU - U-foo, O, O, O, U-bar

以下是BIO 和BILOU 表示法中表示的一组相同标签：

BIO - B-foo, I-foo, I-foo, O, O, B-bar, I-bar, O, B-bar, O
BILOU - B-foo, I-foo, L-foo, O, O, B-bar, L-bar, O, U-bar, O

【讨论】：