GPT-5屡训屡败，“难产”的原因太多
- 基地边缘
- 2024-12-25 06:58:10
【GPT-5屡训屡败，“难产”的原因太多】
OpenAI12场发布会结束，大家最想看的GPT-5却失约了。
当前进展是，GPT-5已至少完成2轮训练，每次长达数月，但是每次训练后都遇到新问题，所以一直在调试。
成本也是个大问题，GPT-5每次训练耗资巨大，单次6个月训练的计算成本约5亿美元，相比之下，GPT-4的训练成本约为1亿美元。
除了成本问题，数据质量同样堪忧，随着模型规模的扩大，简单的数据堆砌已经无法满足训练需求。
目前OpenAI正在专门雇人写代码、做数学题为GPT-5从头创建数据，o1合成数据也用，但效率不够高，想要满足GPT-5的预训练需求有难度。
其实从GPT-4 在2023年3月发布的那一刻起，OpenAI 就一直在开发GPT-5。但随着GPT系列进化速度放缓，OpenAI已经开始调整策略，比如率先推出o1、o3。
其中o3的表现令人惊叹：在低效率版本中达到了82.8%的准确率，而在高效率版本中更是达到了91.5%的出色水平。
不过OpenAI的竞争对手们也从未停下脚步，亚马逊已向Anthropic投资80亿美元，马斯克的xAI也宣布将扩大GPU规模至少五倍。而GPT-5这边，依旧遥遥无期。
OpenAI12场发布会结束，大家最想看的GPT-5却失约了。
当前进展是，GPT-5已至少完成2轮训练，每次长达数月，但是每次训练后都遇到新问题，所以一直在调试。
成本也是个大问题，GPT-5每次训练耗资巨大，单次6个月训练的计算成本约5亿美元，相比之下，GPT-4的训练成本约为1亿美元。
除了成本问题，数据质量同样堪忧，随着模型规模的扩大，简单的数据堆砌已经无法满足训练需求。
目前OpenAI正在专门雇人写代码、做数学题为GPT-5从头创建数据，o1合成数据也用，但效率不够高，想要满足GPT-5的预训练需求有难度。
其实从GPT-4 在2023年3月发布的那一刻起，OpenAI 就一直在开发GPT-5。但随着GPT系列进化速度放缓，OpenAI已经开始调整策略，比如率先推出o1、o3。
其中o3的表现令人惊叹：在低效率版本中达到了82.8%的准确率，而在高效率版本中更是达到了91.5%的出色水平。
不过OpenAI的竞争对手们也从未停下脚步，亚马逊已向Anthropic投资80亿美元，马斯克的xAI也宣布将扩大GPU规模至少五倍。而GPT-5这边，依旧遥遥无期。
