Basics
这一组收录基础知识笔记,当前包含注意力机制、张量重排、自动求导与 tokenizer/embedding 的入门整理。
Notes
- 注意力机制 - Transformer 与注意力机制梳理
- Einops -
rearrange/reduce/repeat常用模式 - micrograd - micrograd 的最小实现笔记
- Tokenization - BPE 与 tokenizer 基础流程
- Embeddings - embedding 的分类与位置编码整理
这一组收录基础知识笔记,当前包含注意力机制、张量重排、自动求导与 tokenizer/embedding 的入门整理。
rearrange / reduce / repeat 常用模式5 items under this folder.