#模型时代# OpenAI o1，可能改变AI算力分配
- 高飞
- 2024-09-19 02:01:32
模型时代 OpenAI o1，可能改变AI算力分配。
这张图正在X上被热烈讨论：
1、左侧图表示传统方法,其中推理计算随模型大小线性增长。这意味着要提高模型性能,我们必须不断增加模型参数，这在计算资源和效率方面存在明显瓶颈。
2、右侧图展示了o1模型的新方法。它引入了"思考时间"(thinking time)的概念，允许模型在给定的计算预算内进行更多的计算迭代。推理计算可能随"思考时间"呈指数级增长，而不是线性增长。
3、带来几个影响:
a)改变算力分配（训练和推理），长期带来额外算力需求；
b) 在不增加模型大小的情况下提高性能；
c) 为小型模型提供与大型模型竞争的能力
这张图正在X上被热烈讨论：
1、左侧图表示传统方法,其中推理计算随模型大小线性增长。这意味着要提高模型性能,我们必须不断增加模型参数，这在计算资源和效率方面存在明显瓶颈。
2、右侧图展示了o1模型的新方法。它引入了"思考时间"(thinking time)的概念，允许模型在给定的计算预算内进行更多的计算迭代。推理计算可能随"思考时间"呈指数级增长，而不是线性增长。
3、带来几个影响:
a)改变算力分配（训练和推理），长期带来额外算力需求；
b) 在不增加模型大小的情况下提高性能；
c) 为小型模型提供与大型模型竞争的能力
