SMOL-GPT：一个从头开始训练您自己...

SMOL-GPT：一个从头开始训练您自己的小型语言模型 (LLM) 的极简 PyTorch 实现。专为教育目的和简洁性而设计，具有高效训练、闪电注意力 (Flash Attention) 和现代采样技术。
github.com/Om-Alve/smolGPT

AI创造营