【图文】【认知】ChatGPT究竟是什么?

【图文】【认知】ChatGPT究竟是什么?
【图文】【认知】ChatGPT究竟是什么? 1

ChatGPT是一种基于GPT(Generative Pre-trained Transformer)模型的对话生成系统,可以生成具有连贯性和上下文感知性的对话文本。GPT模型是一种预训练语言模型,它能够对自然语言进行自主学习,从而能够在各种文本生成任务中发挥作用。

ChatGPT是通过对大量的对话数据进行训练,从而获得了在对话生成任务中出色的表现。它可以模拟人类的对话行为,与用户进行自然的交互,从而在各种场景中得到应用,例如在线客服、智能助手、聊天机器人等。ChatGPT在近年来的自然语言处理领域得到了广泛的关注和应用,也成为了对话生成技术的重要代表之一。
ChatGPT是近年来自然语言处理领域的热门研究方向之一。下面是ChatGPT的历史和应用领域的一些介绍:

2018年6月,OpenAI推出了第一个GPT模型,它的参数量为1.17亿个,仅仅使用了大规模文本数据进行无监督预训练。该模型使用的是Transformer架构,可以在各种自然语言处理任务中取得出色的表现。
2019年11月,OpenAI推出了第二个GPT模型,称为GPT-2,该模型的参数量高达1.5亿个,可以生成比之前更加复杂、准确、自然的文本。这个模型在推出后引起了广泛的关注和讨论。
2020年6月,OpenAI推出了第三个GPT模型,称为GPT-3,该模型的参数量达到了1.75万亿个,是之前最大规模的语言模型。该模型可以进行各种任务,包括生成文本、语言翻译、问题回答等,并且在某些任务上达到了人类水平的表现。

AI技术发展了这么多年,为什么这次不一样了?

最近几乎所有大型人工智能的前沿突破,都来自巨头公司,因为他们拥有强大的资金和算力。ChatGPT与上一波人工智能产品苹果Siri、微软小冰的核心不同是,过去都是小模型,而如今是真正的大模型。

以前,小模型的人工智能中,其实包含了若干Agent(类似于执行具体任务的程序),一个专门负责聊天对话、一个专门负责诗词生成、一个专门负责代码生成、一个专门负责营销文案等等,如果想添加新功能,可以去训练新Agent。一旦用户的问题超出了这个范围,人工智能就会变成人工智障。

而如今的ChatGPT之所以被称为真正的人工智能,就在于采用了成百上千亿参数的大模型,比如GPT-3模型就有1750亿个参数。而GPT本身是一个单项模型,是从左到右进行阅读,所以更擅长“写作文”。与谷歌BERT不同,BERT是一个双向模型,可以联系上下文进行分析,更擅长“完形填空”,但GPT与人类的思维方式更接近,所以我们能看到基于ChatGPT的创意写作应用,或是制作绘本。

506398785 (1).png
InstructGPT的技术逻辑:RLHF的主要改变在于人工监督数据与调整后的奖励模型
图片来源:OpenAI

但大模型的高昂投入,让普通创业公司难以为继,因此参与者都是科技巨头。2022年OpenAI的收入为3000万美元,但净亏损总额预计为5.445亿美元。而GPT3训练一次的费用,大概是460万美元。当模型被训练好之后,仍然有使用成本,目前ChatGPT单轮对话的平均费用,大概在0.01-0.2美元之间。

并且先发优势会非常明显,因为这里有一个“数据和模型的飞轮效应”。在GPT-3之后,OpenAI所有的模型都没有开源,而是提供了API调用。在这个过程中,OpenAI可以借助ChatGPT建立真实用户调用和模型迭代之间的飞轮,OpenAI非常重视真实世界数据的调用,以及这些数据对模型的迭代。

8132011.png
2399905746.png
文本模型的训练成本;图片来源:东吴证券

对于AI的发展来说,工程的重要性不亚于科学,创建一个迭代反馈的闭环至关重要。这也将是后来者,赶超ChatGPT的重要难点。

RIPRO主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
D3资源 » 【图文】【认知】ChatGPT究竟是什么?

提供最优质的资源集合

立即查看 了解详情