您现在的位置是:首页 >> 新闻资讯 >> 业界动态

ChatGPT技术原理介绍,核心竞争力与技术局限

日期:2023-02-21
浏览次数:444

1、技术介绍

ChatGPT 是基于 GPT-3 模型构建的。GPT 是 Generative Pretrained Transformer(生成预训练变换器)的缩写,它是openAI推出的一种用于处理自然语言文本大型神经网络模型,GPT-3 是它的最新版本。

GPT-3 模型包含大量的语言数据,能够理解语言的语法和语义。当用户输入问题时,ChatGPT 会将问题转换为计算机能够理解的数据,并使用 GPT-3 模型进行处理。GPT-3 模型会根据语言数据,生成一个回答候选集,并从中选择一个最佳回答。

最终,ChatGPT 会将生成的回答以自然语言的形式返回给用户。

如此复杂的模型是怎么训练的呢?

简单来说是 RLHF(从人类反馈中强化学习),分三步:

✓收集提示信息(prompt)和人工形成的任务示例(demonstration),并用监督学习方法训练模型。

✓将初始模型用在新的对比数据上,生成多个输出,人工对这些输出进行排序,排序结果用于训练奖励模型。

✓使用PPO(Proximal Policy Optimization)强化学习算法训练奖励模型

2、核心竞争力

ChatGPT受到关注的重要原因是引入新技术RLHF (Reinforcement Learning with Human Feedback,即基于人类反馈的强化学习)。RLHF 解决了生成模型的一个核心问题,即如何让人工智能模型的产出和人类的常识、认知、需求、价值观保持一致。ChatGPT是AIGC(AI- Generated Content,人工智能生成内容)技术进展的成果。该模型能够促进利用人工智能进行内容创作、提升内容生产效率与丰富度。

3、技术局限

ChatGPT 的使用上还有局限性,模型仍有优化空间。ChatGPT模型的能力上限是由奖励模型决定,该模型需要巨量的语料来拟合真实世界,对标注员的工作量以及综合素质要求较高。ChatGPT可能会出现创造不存在的知识,或者主观猜测提问者的意图等问题,模型的优化将是一个持续的过程。若AI技术迭代不及预期,NLP模型优化受限,则相关产业发展进度会受到影响。



渝公网安备 50010502000038号

电子营业执照
在线客服

在线客服