和美那边大模型厂商沟通了一下

  • 龙哥掌舵人
  • 2024-11-15 21:18:31
和美那边大模型厂商沟通了一下。
大家最关心的 scaling law 的问题。三个月前已经有定论了:
scaling law 应用到推理环节,成为共识。就是gpt o1的路径。国内也在疯狂推。只是大家没注意,建议看看kimi 的探索版,才推出的,走的就是这个路径。其它几家应该也有新路径模型迅速落地。
预训练环节 暴力scaling ,纯粹增加参数的方式,效率确实变低了。
scaling law 在不同方面 发生效果。这是各家大模型厂的secrect sauce。
结论:
1、明年算力的需求,结构上走向推理。
2、国内模型的追赶很快。
3、海外都在找明年推理 应用环节的 “明星”。
和美那边大模型厂商沟通了一下