第一款完全开源的MoE大模型：OLMoE基于5T...

第一款完全开源的MoE大模型：OLMoE

基于5T token预训练实现7B总参数、1B活跃参数的MOE专家模型

最大特点：第一个权重、训练数据、代码和日志都是开源胡，为构建moe训练模型提供了POC参考用例

权重：moe