Cerebras-GPT：一系列开放的...

Cerebras-GPT：一系列开放的、计算高效的大型语言模型
网页链接
Cerebras 开源了七个 GPT-3 模型，参数从 1.11 亿到 130 亿。这些模型使用 Chinchilla 公式进行训练，为准确性和计算效率设定了新的基准。 Cerebras-GPT 与迄今为止的任何公开可用模型相比，训练时间更快、训练成本更低，并且消耗的能量更少。
这些系统在Andromeda AI 超级计算机上训练。