SMOL-GPT:一个从头开始训练您自己...

  • 蚁工厂
  • 2025-02-02 15:10:56
SMOL-GPT:一个从头开始训练您自己的小型语言模型 (LLM) 的极简 PyTorch 实现。专为教育目的和简洁性而设计,具有高效训练、闪电注意力 (Flash Attention) 和现代采样技术。
github.com/Om-Alve/smolGPT

AI创造营
SMOL-GPT:一个从头开始训练您自己...SMOL-GPT:一个从头开始训练您自己...