Tokenizer

专题聚合页：打通教程、路径、模拟器与论文，快速构建完整知识链路。

教程 (1)

词嵌入与 Tokenizer 原理

从分词、词表、BPE 到 embedding 查表与位置对齐，建立“文本如何变成模型可计算向量”的完整直觉。

难度入门 · 更新 2026/03/24

Tokenizer Embedding 基础原理预训练

学习路径 (0)

暂无学习路径

后续会补充该方向的阶段化学习路线。

可视化模拟 (0)

暂无模拟器

后续会补充该方向的交互式仿真内容。

论文 (0)

暂无论文

后续会补充该方向的论文追踪内容。