One-Hot表达的致命缺陷

1，sparse大部分是零

2，orthogonal representations每一个都是互相垂直的

3，semantically weak无法表述相关词背后的语意

独热法通常将词与词间的语义视为相互独立。且每种表达每次只有1个位于高位，其余均位于低位。这造成了独热表示具有高稀疏的特性。