人人都在期待GPT-4，OpenAI却仍在改进GPT-3
- 麻省理工科技评论
- 2022-12-05 22:35:49
预训练语言模型 【人人都在期待GPT-4，OpenAI却仍在改进GPT-3】
OpenAI 的大型语言模型 GPT-3 风头正劲，但有关其下一代模型 GPT-4 的小道消息已经悄然出现。不过按照目前的状况来看，OpenAI 可能还没有完成对 GPT-3 的改进。
OpenAI 近日发布了一款名为 ChatGPT 的新模型，它是 GPT-3 的衍生产品，旨在通过对话的方式来回答问题。
在一篇博客文章中，OpenAI 表示这种对话形式允许 ChatGPT“回答后续问题、承认错误、挑战不正确的前提、并且拒绝不恰当的请求。”
面对 GPT-3 的一些问题，ChatGPT 似乎能提供可行的解决方案，但我在尝试时发现，它还远没有解决所有的问题。这表明，即使未来它进化到 GPT-4，似乎也无法解决所有问题。
最棘手的一个问题是：它会胡编乱造。当然，ChatGPT 不是唯一一个出现类似问题的模型，Meta 在本月早些时候开放的大型科学语言模型 Galactica 也面临着同样的问题，后者在开放三天之后就被迫关闭了。
OpenAI 的科学家约翰·舒尔曼（John Schulman）表示他们还有很多事情要做：“我们在这个（胡编乱造的）问题上取得了一些进展，但它还远没有得到解决。”
所有的大型语言模型都会产生毫无意义的内容，而 ChatGPT 的不同之处在于，当它不知道自己在说什么时，它可以大方地承认这一点。“你可以问它：‘你确定吗？’它会回复：‘也许没那么确定。’”OpenAI 的首席技术官米拉·穆拉蒂（Mira Murati）解释称。
而且与此前的大多数语言模型不同，如果用户抛出一个 ChatGPT 没有被训练过的话题，它会拒绝回答。
例如，它不会试图回答“2022 年之后会发生什么事”之类的问题。它也不会回答有关个人的问题。
ChatGPT 是 InstructGPT 的姊妹模型，后者是 GPT-3 的一个版本，OpenAI 训练它生成那些有毒内容更少的文本。
它也类似于 DeepMind 在 9 月份发布的一个名为Sparrow 的模型。所有这三个模型都是根据人类用户的反馈进行训练的。
戳链接查看详情：
人人都在期待GPT-4，OpenAI却仍在改进GPT-3
OpenAI 的大型语言模型 GPT-3 风头正劲，但有关其下一代模型 GPT-4 的小道消息已经悄然出现。不过按照目前的状况来看，OpenAI 可能还没有完成对 GPT-3 的改进。
OpenAI 近日发布了一款名为 ChatGPT 的新模型，它是 GPT-3 的衍生产品，旨在通过对话的方式来回答问题。
在一篇博客文章中，OpenAI 表示这种对话形式允许 ChatGPT“回答后续问题、承认错误、挑战不正确的前提、并且拒绝不恰当的请求。”
面对 GPT-3 的一些问题，ChatGPT 似乎能提供可行的解决方案，但我在尝试时发现，它还远没有解决所有的问题。这表明，即使未来它进化到 GPT-4，似乎也无法解决所有问题。
最棘手的一个问题是：它会胡编乱造。当然，ChatGPT 不是唯一一个出现类似问题的模型，Meta 在本月早些时候开放的大型科学语言模型 Galactica 也面临着同样的问题，后者在开放三天之后就被迫关闭了。
OpenAI 的科学家约翰·舒尔曼（John Schulman）表示他们还有很多事情要做：“我们在这个（胡编乱造的）问题上取得了一些进展，但它还远没有得到解决。”
所有的大型语言模型都会产生毫无意义的内容，而 ChatGPT 的不同之处在于，当它不知道自己在说什么时，它可以大方地承认这一点。“你可以问它：‘你确定吗？’它会回复：‘也许没那么确定。’”OpenAI 的首席技术官米拉·穆拉蒂（Mira Murati）解释称。
而且与此前的大多数语言模型不同，如果用户抛出一个 ChatGPT 没有被训练过的话题，它会拒绝回答。
例如，它不会试图回答“2022 年之后会发生什么事”之类的问题。它也不会回答有关个人的问题。
ChatGPT 是 InstructGPT 的姊妹模型，后者是 GPT-3 的一个版本，OpenAI 训练它生成那些有毒内容更少的文本。
它也类似于 DeepMind 在 9 月份发布的一个名为Sparrow 的模型。所有这三个模型都是根据人类用户的反馈进行训练的。
戳链接查看详情：
人人都在期待GPT-4，OpenAI却仍在改进GPT-3