#模型时代# OpenAI奥特曼...
- 高飞
- 2024-10-07 22:50:59
模型时代 OpenAI奥特曼：明年模型的关键词是代理，十年内实现无限上下文。
昨天是OpenAI的开发者日，OpenAI CEO山姆-奥特曼本人强调的重点是规模在扩大，但是token成本在降低，从GPT-4到4o-mini降了80%，而且模型还在演进。
不过更有信息量的内容，来自山姆-奥特曼和OpenAI CPO Kevin Weil进行的一个对话。几个关键词：
1、代理。奥特曼认为2025是代理年，o1则是一个重要起点。（这个和谷歌前CEO施密特一个看法，也把代理放在相当高的优先级）
2、安全。迭代演进最安全，所以这和OpenAI前首席科学家伊利亚的观点明显不同，后者认为是直到确保安全才发出来。
3、AGI。还不清楚AGI是工程问题，还是架构问题。也就是更多GPU就行，还是新的算法体系。
我感觉奥特曼团队还是相当傲娇的，比如说谷歌的NotebookLM不错，又说不记得名字。夸了Anthropic，又强调只是工程不错。
记录如下，来源见图一。
***
- "通过O1（及其前身），2025年是代理（agents）将开始发挥作用的时候。"
* 我们离AGI还有多远？完成一个系统后，他们会问："这个系统在哪些方面不是AGI？" 这个词被过度使用了。O1是二级AGI。
* 加快科学发现的速度是Sam瞄准的AGI的北极星指标。
* "定义变得如此重要的事实意味着我们正在接近（AGI）。"
* "我们正处于一个模糊期，这种状态会持续一段时间。（关于识别AGI）"
* "如果我们能创造出一个在AI研究方面比OpenAI更出色的AI系统，那感觉就是一个真正的里程碑。"
* 使命：构建安全的AGI。如果答案是一架GPU服务器，他们就会这么做。如果答案是研究，他们也会去做。
* "复制已知有效的东西很容易。但首次做新事物，'让我们去寻找新范式'，这才是激励我们的动力。"
* 关于对齐问题："我们确实对对齐问题有不同的看法，不同于...那个互联网论坛的观点..." "我们想弄清楚如何构建随时间推移变得越来越安全的高能力模型。" "我们的方法是弄清楚能力的发展方向，然后努力使其安全。O1是我们最强大的模型，也是我们最对齐的模型。"
* "迭代部署是我们最好的安全系统。"
* "我认为担心科幻场景是我们最重要的事情之一。"
* "无论你的墙内有多少聪明人，墙外总有更多聪明人。" - Kevin
* 代理如何融入OpenAI的长期计划？O1模型及其所有前身将成为真正实现代理的关键。
* "人们很快就会适应任何新技术，但这个（代理）将是一件大事。"
* "人们会要求代理完成原本需要一个月的任务，而它只需要一小时。然后他们会有10倍的代理，接着是1000倍的代理。"
* 代理控制你的电脑的障碍是什么？安全性和对齐问题。
* 找出AI今天能做到但还不能完全做到的边界是最佳切入点。因为当新模型出现时，你将成为首选。
* Sam说，人们认为技术造就公司，这不对，还需要大量执行力。"这并不能免除你建立一个好企业的责任。" "人们在AI方面容易忘记这一点。"
* "对ChatGPT说请/谢谢是件好事，你永远不知道会发生什么。"
* 在今年年底前，O1将支持函数调用。还有系统提示和结构化输出。
* "模型将以如此快的速度变得更好。" 我们知道如何让它更上一层楼。"计划模型将迅速变得更智能。"
* "谷歌的笔记本应用真的很酷，它叫什么来着？" - Sam
* "Anthropic在项目方面做得很好。" - Kevin
* "你认为你会比O2更聪明吗？没人想打这个赌吗？"
* 制造推理能力最强的模型对公司来说是件大事。
* 内部dogfooding是他们衡量模型好坏的方式。
* 随着我们进入代理的世界，OpenAI将尝试虚拟员工。
* 什么时候会有离线模型？- "我们对此持开放态度，但目前不是路线图上的高优先级。" 有趣的是Sam指向Kevin回答，然后Kevin又指回Sam并让Sam回答。
* 你们对开源的立场如何？"我认为开源很棒，如果我们有更多带宽，我们会做的。我们不得不把其他事情放在前面。" "我希望我们在某个时候能做些（开源的）事情。"
* 为什么它不能唱歌，"我们不能让它唱有版权的歌曲。我们也希望它能唱歌，但要做对是很微妙的。我们真的很想让模型也能唱歌。"
* 关于上下文窗口，有两种看法。长上下文的使用比Sam预想的要少。
* "我们什么时候能达到10T个token？" - Sam说，"在十年内会实现无限长度的上下文。"
昨天是OpenAI的开发者日，OpenAI CEO山姆-奥特曼本人强调的重点是规模在扩大，但是token成本在降低，从GPT-4到4o-mini降了80%，而且模型还在演进。
不过更有信息量的内容，来自山姆-奥特曼和OpenAI CPO Kevin Weil进行的一个对话。几个关键词：
1、代理。奥特曼认为2025是代理年，o1则是一个重要起点。（这个和谷歌前CEO施密特一个看法，也把代理放在相当高的优先级）
2、安全。迭代演进最安全，所以这和OpenAI前首席科学家伊利亚的观点明显不同，后者认为是直到确保安全才发出来。
3、AGI。还不清楚AGI是工程问题，还是架构问题。也就是更多GPU就行，还是新的算法体系。
我感觉奥特曼团队还是相当傲娇的，比如说谷歌的NotebookLM不错，又说不记得名字。夸了Anthropic，又强调只是工程不错。
记录如下，来源见图一。
***
- "通过O1（及其前身），2025年是代理（agents）将开始发挥作用的时候。"
* 我们离AGI还有多远？完成一个系统后，他们会问："这个系统在哪些方面不是AGI？" 这个词被过度使用了。O1是二级AGI。
* 加快科学发现的速度是Sam瞄准的AGI的北极星指标。
* "定义变得如此重要的事实意味着我们正在接近（AGI）。"
* "我们正处于一个模糊期，这种状态会持续一段时间。（关于识别AGI）"
* "如果我们能创造出一个在AI研究方面比OpenAI更出色的AI系统，那感觉就是一个真正的里程碑。"
* 使命：构建安全的AGI。如果答案是一架GPU服务器，他们就会这么做。如果答案是研究，他们也会去做。
* "复制已知有效的东西很容易。但首次做新事物，'让我们去寻找新范式'，这才是激励我们的动力。"
* 关于对齐问题："我们确实对对齐问题有不同的看法，不同于...那个互联网论坛的观点..." "我们想弄清楚如何构建随时间推移变得越来越安全的高能力模型。" "我们的方法是弄清楚能力的发展方向，然后努力使其安全。O1是我们最强大的模型，也是我们最对齐的模型。"
* "迭代部署是我们最好的安全系统。"
* "我认为担心科幻场景是我们最重要的事情之一。"
* "无论你的墙内有多少聪明人，墙外总有更多聪明人。" - Kevin
* 代理如何融入OpenAI的长期计划？O1模型及其所有前身将成为真正实现代理的关键。
* "人们很快就会适应任何新技术，但这个（代理）将是一件大事。"
* "人们会要求代理完成原本需要一个月的任务，而它只需要一小时。然后他们会有10倍的代理，接着是1000倍的代理。"
* 代理控制你的电脑的障碍是什么？安全性和对齐问题。
* 找出AI今天能做到但还不能完全做到的边界是最佳切入点。因为当新模型出现时，你将成为首选。
* Sam说，人们认为技术造就公司，这不对，还需要大量执行力。"这并不能免除你建立一个好企业的责任。" "人们在AI方面容易忘记这一点。"
* "对ChatGPT说请/谢谢是件好事，你永远不知道会发生什么。"
* 在今年年底前，O1将支持函数调用。还有系统提示和结构化输出。
* "模型将以如此快的速度变得更好。" 我们知道如何让它更上一层楼。"计划模型将迅速变得更智能。"
* "谷歌的笔记本应用真的很酷，它叫什么来着？" - Sam
* "Anthropic在项目方面做得很好。" - Kevin
* "你认为你会比O2更聪明吗？没人想打这个赌吗？"
* 制造推理能力最强的模型对公司来说是件大事。
* 内部dogfooding是他们衡量模型好坏的方式。
* 随着我们进入代理的世界，OpenAI将尝试虚拟员工。
* 什么时候会有离线模型？- "我们对此持开放态度，但目前不是路线图上的高优先级。" 有趣的是Sam指向Kevin回答，然后Kevin又指回Sam并让Sam回答。
* 你们对开源的立场如何？"我认为开源很棒，如果我们有更多带宽，我们会做的。我们不得不把其他事情放在前面。" "我希望我们在某个时候能做些（开源的）事情。"
* 为什么它不能唱歌，"我们不能让它唱有版权的歌曲。我们也希望它能唱歌，但要做对是很微妙的。我们真的很想让模型也能唱歌。"
* 关于上下文窗口，有两种看法。长上下文的使用比Sam预想的要少。
* "我们什么时候能达到10T个token？" - Sam说，"在十年内会实现无限长度的上下文。"
