【图文】【认知】ChatGPT究竟是什么？

ChatGPT是一种基于GPT（Generative Pre-trained Transformer）模型的对话生成系统，可以生成具有连贯性和上下文感知性的对话文本。GPT模型是一种预训练语言模型，它能够对自然语言进行自主学习，从而能够在各种文本生成任务中发挥作用。

ChatGPT是通过对大量的对话数据进行训练，从而获得了在对话生成任务中出色的表现。它可以模拟人类的对话行为，与用户进行自然的交互，从而在各种场景中得到应用，例如在线客服、智能助手、聊天机器人等。ChatGPT在近年来的自然语言处理领域得到了广泛的关注和应用，也成为了对话生成技术的重要代表之一。
ChatGPT是近年来自然语言处理领域的热门研究方向之一。下面是ChatGPT的历史和应用领域的一些介绍：

2018年6月，OpenAI推出了第一个GPT模型，它的参数量为1.17亿个，仅仅使用了大规模文本数据进行无监督预训练。该模型使用的是Transformer架构，可以在各种自然语言处理任务中取得出色的表现。
2019年11月，OpenAI推出了第二个GPT模型，称为GPT-2，该模型的参数量高达1.5亿个，可以生成比之前更加复杂、准确、自然的文本。这个模型在推出后引起了广泛的关注和讨论。
2020年6月，OpenAI推出了第三个GPT模型，称为GPT-3，该模型的参数量达到了1.75万亿个，是之前最大规模的语言模型。该模型可以进行各种任务，包括生成文本、语言翻译、问题回答等，并且在某些任务上达到了人类水平的表现。

AI技术发展了这么多年，为什么这次不一样了？

最近几乎所有大型人工智能的前沿突破，都来自巨头公司，因为他们拥有强大的资金和算力。ChatGPT与上一波人工智能产品苹果Siri、微软小冰的核心不同是，过去都是小模型，而如今是真正的大模型。

以前，小模型的人工智能中，其实包含了若干Agent（类似于执行具体任务的程序），一个专门负责聊天对话、一个专门负责诗词生成、一个专门负责代码生成、一个专门负责营销文案等等，如果想添加新功能，可以去训练新Agent。一旦用户的问题超出了这个范围，人工智能就会变成人工智障。

而如今的ChatGPT之所以被称为真正的人工智能，就在于采用了成百上千亿参数的大模型，比如GPT-3模型就有1750亿个参数。而GPT本身是一个单项模型，是从左到右进行阅读，所以更擅长“写作文”。与谷歌BERT不同，BERT是一个双向模型，可以联系上下文进行分析，更擅长“完形填空”，但GPT与人类的思维方式更接近，所以我们能看到基于ChatGPT的创意写作应用，或是制作绘本。

506398785 (1).png
InstructGPT的技术逻辑：RLHF的主要改变在于人工监督数据与调整后的奖励模型
图片来源：OpenAI

但大模型的高昂投入，让普通创业公司难以为继，因此参与者都是科技巨头。2022年OpenAI的收入为3000万美元，但净亏损总额预计为5.445亿美元。而GPT3训练一次的费用，大概是460万美元。当模型被训练好之后，仍然有使用成本，目前ChatGPT单轮对话的平均费用，大概在0.01-0.2美元之间。

并且先发优势会非常明显，因为这里有一个“数据和模型的飞轮效应”。在GPT-3之后，OpenAI所有的模型都没有开源，而是提供了API调用。在这个过程中，OpenAI可以借助ChatGPT建立真实用户调用和模型迭代之间的飞轮，OpenAI非常重视真实世界数据的调用，以及这些数据对模型的迭代。

8132011.png
2399905746.png
文本模型的训练成本；图片来源：东吴证券

对于AI的发展来说，工程的重要性不亚于科学，创建一个迭代反馈的闭环至关重要。这也将是后来者，赶超ChatGPT的重要难点。