体验Word、Character、Subword三种思路在词表大小与序列长度上的权衡
2026秋季学期, 自然语言处理, liujiehai@nuist.edu.cn
| 切分思路 | 典型词表大小 | 平均序列长度 | 未登录词 (OOV) 风险 | 语义表达能力 |
|---|---|---|---|---|
| Word-level | 巨大 (50万 ~ 数百万) | 最短 | 极高 (遇新词直接变成 [UNK]) | 高 (词级语义明确) |
| Character-level | 极小 (几百 ~ 数千) | 最长 (计算消耗大) | 几乎无 OOV | 低 (单字母/片段缺乏独立语义) |
| Subword-level (主流LLM标配) | 适中 (3万~15万) | 适中 | 极低 (遇到罕见词回退到子词或字母) | 高 (兼顾前缀、词根与词缀) |