Liger-Kernel:为大型语言模型训练设计的高效 Triton 内核,通过一行代码提升模型性能,降低内存使用,支持更长上下文长度、更大批量大小和庞大词汇量

  • 爱可可-爱生活
  • 2024-08-27 13:01:10
【Liger-Kernel:为大型语言模型训练设计的高效 Triton 内核,通过一行代码提升模型性能,降低内存使用,支持更长上下文长度、更大批量大小和庞大词汇量】'Liger-Kernel: Efficient Triton Kernels for LLM Training' GitHub: github.com/linkedin/Liger-Kernel LLM训练 内核优化 内存效率
Liger-Kernel:为大型语言模型训练设计的高效 Triton 内核,通过一行代码提升模型性能,降低内存使用,支持更长上下文长度、更大批量大小和庞大词汇量