BPE (Byte Pair Encoding) 算法交互演示
BPE 算法逻辑：
1. 初始化：将输入的文本拆分为最小字符单位（如单个字母），末尾加上结尾符 </w>。
2. 统计：计算当前文本中所有相邻 Token 对（Pair）的出现频率。
3. 合并：寻找频次最高的 Token 对，将它们合并成一个新的 Token，并加入词表（Vocabulary）。
4. 循环：重复 2 和 3，直到达到指定的合并次数或无法继续合并。
1. 当前文本 Token 序列
点击“单步合并”开始演练
2. 相邻字符对频率 (Pair Frequency)
2026秋季学期, NLP课程, liujiehai@nuist.edu.cn
体验步骤：
- 输入框内置了经典示例：
hug hugs hugger hugging hugged。
- 点击 “单步合并”，会看到系统找到频率最高的一对（如
h u，频次为 5），并把它们合并成新 Token hu，右侧的频次表和下方的词表也会同步刷新。
- 点击 “自动播放”，算法会以 1.2 秒/帧的速度自动推演，直至所有字符被合并完。
- 还可以在输入框中输入任意英文文本（如：
play plays played player players playing replay），点击 “重置” 后重新观看演示！