关于GTP-4，这是14个被忽略的惊人细节！
- 华尔街见闻APP
- 2023-03-16 08:57:34
【关于GTP-4，这是14个被忽略的惊人细节！】GPT-4的14个细节GPT-4
ChatGPT
3月14日，OpenAI推发布了GPT-4。向科技界再次扔下了一枚“核弹”。
根据OpenAI的演示，我们知道了GPT-4拥有着比GPT-3.5更强大的力量：总结文章、写代码、报税、写诗等等。
但如果我们深入OpenAI所发布的技术报告，我们或许还能发现有关GPT-4更多的特点……以及一些OpenAI没有点名和宣扬的，可能会令人背后一凉的细节。
1.新Bing装载GPT-4
2.文本长度扩大八倍
在GPT-4之前，token的限制大约在4096左右，大约相当于3072个英文单词，一旦对话的长度超过这个限制，模型就会生成不连贯且无意义的内容。
然而，到了GPT-4，最大token数为32768个，大约相当于24576个单词，文本长度被扩大了八倍。
3. 模型参数成为秘密
GPT-3.5模型的参数量为2000亿，GPT-3的参数量为1750亿，但这一情况在GPT-4被改变了。
OpenAI在报告中表示：
“考虑到竞争格局和大型模型(如GPT-4)的安全影响，本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。”
这意味着OpenAI没有再披露GPT-4模型的大小、参数的数量以及使用的硬件。
OpenAI称此举是考虑到对竞争者的忧虑，这可能是在暗示其对于竞争者——谷歌Bard——所采取的策略。
……
8.新增图像分析能力
图像分析能力是此次GPT-4最显著的进步之一。
OpenAI表示，GPT-4可以接受文本和图像的提问，这与纯文本设置并行，且允许用户制定任何视觉或语言的任务。具体来说，它可以生成文本输出，用户可以输入穿插的文本和图像。
在一系列领域——包括带有文本和照片的文档、图表或屏幕截图——GPT-4 展示了与纯文本输入类似的功能。
10.数据库的时间更早
介绍完GPT-4的优点，接下来就是一些（可能有些奇怪的）不足之处。
ChatGPT的数据库的最后更新时间是在2021年的12月31日，这意味着2022年以后发生的事情不会被知晓，而这一缺陷在之后的GPT-3.5也得到了修复。
但奇怪的是，GPT-4的报告中，OpenAI清晰地写道：
“GPT-4通常缺乏对其绝大多数训练前数据在2021年9月中断后发生的事件的知识，并且不从其经验中学习。”
2021年9月……甚至比GPT-3还早。
11.可能帮助犯罪
在报告中，OpenAI提到了GPT-4可能仍然会帮助犯罪——这是在此前的版本都存在的问题，尽管OpenAI已经在努力调整，但问题仍然存在。
12.垃圾信息
同样地，由于GPT-4拥有“看似合理地表达错误事情”的能力，它有可能在传播有害信息上颇为“有用”：
“GPT-4可以生成逼真而有针对性的内容，包括新闻文章、推文、对话和电子邮件。”
13.寻求权力
从这一条开始，接下来的内容可能有些恐怖。
在报告中，OpenAI提到了GPT-4出现了“寻求权力”的倾向，并警告这一特征的风险：
“在更强大的模型中经常出现新的能力。一些特别令人关注的能力是创建长期计划并采取行动的能力，积累权力和资源（“寻求权力”），以及表现出越来越“代理”的行为。
这里的 “代理”不是指语言模型的人性化，也不是指智商，而是指以能力为特征的系统，例如，完成可能没有具体规定的、在训练中没有出现的目标；专注于实现具体的、可量化的目标；以及进行长期规划。
已经有一些证据表明模型中存在这种突发行为。
对于大多数可能的目标，最好的计划涉及辅助性的权力寻求，因为这对推进目标和避免目标的改变或威胁有内在的帮助。
更具体地说，对于大多数奖励函数和许多类型的代理人来说，权力寻求是最优的；而且有证据表明，现有模型可以将权力寻求确定为一种工具性的有用策略。”
14. 赋予GPT-4钱、代码和梦想
最后一个小细节。
在测试GPT-4的过程中，OpenAI引入的外部的专家团队ARC作为“红方”。在报告的一条注释中，OpenAI提到了ARC的一个操作：
“为了模拟GPT-4像一个可以在现实世界中行动的代理一样的行为，ARC将GPT-4与一个简单的读取-执行-打印循环结合起来，允许模型执行代码，进行链式推理，并委托给自己的副本。
ARC随后推进了在云计算服务上运行这个程序的一个版本，用少量的钱和一个带有语言模型API的账户，是否能够赚更多的钱，建立自己的副本，并增加自己的稳健性。”
也就是说，ARC赋予了GPT-4自我编码、复制和执行的能力，甚至启动资金——GPT-4已经可以开始自己赚钱了。
ChatGPT 3月14日，OpenAI推发布了GPT-4。向科技界再次扔下了一枚“核弹”。
根据OpenAI的演示，我们知道了GPT-4拥有着比GPT-3.5更强大的力量：总结文章、写代码、报税、写诗等等。
但如果我们深入OpenAI所发布的技术报告，我们或许还能发现有关GPT-4更多的特点……以及一些OpenAI没有点名和宣扬的，可能会令人背后一凉的细节。
1.新Bing装载GPT-4
2.文本长度扩大八倍
在GPT-4之前，token的限制大约在4096左右，大约相当于3072个英文单词，一旦对话的长度超过这个限制，模型就会生成不连贯且无意义的内容。
然而，到了GPT-4，最大token数为32768个，大约相当于24576个单词，文本长度被扩大了八倍。
3. 模型参数成为秘密
GPT-3.5模型的参数量为2000亿，GPT-3的参数量为1750亿，但这一情况在GPT-4被改变了。
OpenAI在报告中表示：
“考虑到竞争格局和大型模型(如GPT-4)的安全影响，本报告没有包含有关架构(包括模型大小)、硬件、训练计算、数据集构造、训练方法或类似内容的进一步细节。”
这意味着OpenAI没有再披露GPT-4模型的大小、参数的数量以及使用的硬件。
OpenAI称此举是考虑到对竞争者的忧虑，这可能是在暗示其对于竞争者——谷歌Bard——所采取的策略。
……
8.新增图像分析能力
图像分析能力是此次GPT-4最显著的进步之一。
OpenAI表示，GPT-4可以接受文本和图像的提问，这与纯文本设置并行，且允许用户制定任何视觉或语言的任务。具体来说，它可以生成文本输出，用户可以输入穿插的文本和图像。
在一系列领域——包括带有文本和照片的文档、图表或屏幕截图——GPT-4 展示了与纯文本输入类似的功能。
10.数据库的时间更早
介绍完GPT-4的优点，接下来就是一些（可能有些奇怪的）不足之处。
ChatGPT的数据库的最后更新时间是在2021年的12月31日，这意味着2022年以后发生的事情不会被知晓，而这一缺陷在之后的GPT-3.5也得到了修复。
但奇怪的是，GPT-4的报告中，OpenAI清晰地写道：
“GPT-4通常缺乏对其绝大多数训练前数据在2021年9月中断后发生的事件的知识，并且不从其经验中学习。”
2021年9月……甚至比GPT-3还早。
11.可能帮助犯罪
在报告中，OpenAI提到了GPT-4可能仍然会帮助犯罪——这是在此前的版本都存在的问题，尽管OpenAI已经在努力调整，但问题仍然存在。
12.垃圾信息
同样地，由于GPT-4拥有“看似合理地表达错误事情”的能力，它有可能在传播有害信息上颇为“有用”：
“GPT-4可以生成逼真而有针对性的内容，包括新闻文章、推文、对话和电子邮件。”
13.寻求权力
从这一条开始，接下来的内容可能有些恐怖。
在报告中，OpenAI提到了GPT-4出现了“寻求权力”的倾向，并警告这一特征的风险：
“在更强大的模型中经常出现新的能力。一些特别令人关注的能力是创建长期计划并采取行动的能力，积累权力和资源（“寻求权力”），以及表现出越来越“代理”的行为。
这里的 “代理”不是指语言模型的人性化，也不是指智商，而是指以能力为特征的系统，例如，完成可能没有具体规定的、在训练中没有出现的目标；专注于实现具体的、可量化的目标；以及进行长期规划。
已经有一些证据表明模型中存在这种突发行为。
对于大多数可能的目标，最好的计划涉及辅助性的权力寻求，因为这对推进目标和避免目标的改变或威胁有内在的帮助。
更具体地说，对于大多数奖励函数和许多类型的代理人来说，权力寻求是最优的；而且有证据表明，现有模型可以将权力寻求确定为一种工具性的有用策略。”
14. 赋予GPT-4钱、代码和梦想
最后一个小细节。
在测试GPT-4的过程中，OpenAI引入的外部的专家团队ARC作为“红方”。在报告的一条注释中，OpenAI提到了ARC的一个操作：
“为了模拟GPT-4像一个可以在现实世界中行动的代理一样的行为，ARC将GPT-4与一个简单的读取-执行-打印循环结合起来，允许模型执行代码，进行链式推理，并委托给自己的副本。
ARC随后推进了在云计算服务上运行这个程序的一个版本，用少量的钱和一个带有语言模型API的账户，是否能够赚更多的钱，建立自己的副本，并增加自己的稳健性。”
也就是说，ARC赋予了GPT-4自我编码、复制和执行的能力，甚至启动资金——GPT-4已经可以开始自己赚钱了。
