OLMo-core:AI2开源的OLMo语言模型核心构建模块,基于PyTorch实现,提供了完整的模型训练和优化组件,支持多种规模模型(1B-13B)训练,包含flash attention、floa

  • 爱可可-爱生活
  • 2024-12-10 23:51:53
【OLMo-core:AI2开源的OLMo语言模型核心构建模块,基于PyTorch实现,提供了完整的模型训练和优化组件,支持多种规模模型(1B-13B)训练,包含flash attention、float8训练等高级特性】
'PyTorch building blocks for OLMo - Building blocks for OLMo modeling and training'
GitHub: github.com/allenai/OLMo-core
机器学习 语言模型 深度学习 人工智能
OLMo-core:AI2开源的OLMo语言模型核心构建模块,基于PyTorch实现,提供了完整的模型训练和优化组件,支持多种规模模型(1B-13B)训练,包含flash attention、float8训练等高级特性