BPE 分步合并模拟器:亲手跑一遍训练算法
语料 low×5 / lower×2 / newest×6 / widest×3(正文手推例子的同款)。每点一次「合并」就执行一轮完整算法:统计全部相邻对频率 → 合并最高频对。观察词表如何从字符长出来。
语料状态(每行一个词)
合并历史:
本轮候选对(出现频率 Top5)
相邻对
频次
词表大小:
0
合并最高频对 →
自动跑 5 步
撤销一步
重置