以色列研究公司 AI21 Labs 2019年8月发布论文《SenseBERT: Driving Some Sense into BERT》，提出一种能够显著提升词汇消歧能力的新模型，该模型在复杂的 Word in Context (WiC) 语言任务中取得了当前最优结果。
这篇论文的重要创新是，SenseBERT 不仅能够预测遮蔽词汇（masked word），还能预测它们在给定语境下的实际含义。AI21 Labs 的研究人员使用英语词汇数据库 WordNet 作为标注参照系统，设计了一个网络来预测单词在语境中的实际含义。然后将该预训练网络嵌入 BERT。
和 SenseBERT 一同公开的还有其自研文本生成系统「HAIM」，其可控性优于其他前沿文本生成系统，如 OpenAI 的 GPT-2 和华盛顿大学的 Grover。大多数文本生成器基于人类写的前提合成文本，但是生成的文本常常会跑题、不连贯，或者与原始语境相悖。HAIM 的工作原理稍有不同：先为模型提供开头和结尾，然后模型使用切题的生成文本填补中间内容，连接开头和结尾。输出结果可以根据长度进行调整。
AI21 Labs 发布了 HAIM-Large 模型的 demo，该模型包含 3.45 亿参数，在 40GB OpenWebText 数据集上训练而成。
HAIM-Large demo 地址：https://www.ai21.com/haim
GPT-2 和 HAIM 的可控性对比。
HAIM的可控性明显优于GPT-2