【ChatGPT系列】【溯源】AI是如何进化成如今的样子?为什么是ChatGPT实现了颠覆?

【ChatGPT系列】【溯源】AI是如何进化成如今的样子?为什么是ChatGPT实现了颠覆?
ChatGPT系列】【溯源】AI是如何进化成如今的样子?为什么是ChatGPT实现了颠覆? 1

先从一个案例开始

这个案例来自于《AI时代:以及人类的未来》这本书。

 

2020年,麻省理工学院宣布发现了一种新的抗生素,叫Halicin。这是一种广谱抗生素,能杀死那些对市面上现有的抗生素已经产生耐药性的细菌,而且它自己还不会让细菌产生耐药性。

 

这个幸运的发现,是用AI完成的。研究者先搞了一个由两千个性能已知的分子组成的训练集,这些分子都被标记好了是不是可以抑制细菌生长,用它们去训练AI。AI自己学习这些分子都有什么特点,总结了一套“什么样的分子能抗菌”的规律。

 

AI模型训练好之后,研究者用它一个个考察美国FDA已经批准的药物和天然产品库中的61000个分子,要求AI按照三个标准从中选择一种抗生素:1)它具备抗菌效果;2)它看起来不像已知的抗生素;3)它必须是无毒的。

结果AI最后只找到一个符合所有要求的分子,这就是Halicin。然后研究者做实验证明,它真的非常好使。它大概很快就会用于临床,造福人类。

但令人震惊的并不是Halicin的发现这件事本身,而是:

AI发现Halicin的路径并不遵循人类已知的发现抗生素特征。Halicin是抗生素没错,但人类根本不知道它是怎么来的!

 

也就是说,以往人类在生物领域研究出的规律与原理,被AI绕过去了,却依然得到了正确答案。

 

同样的事情还发生在了围棋上,AlphaZero完全不用人类棋手的棋谱,通过自己跟自己对弈学会了下国际象棋和围棋,然后轻松就能打败人类。然后你看看它的走法,它经常会走一些人类棋手匪夷所思、没有考虑过的走法。比如在国际象棋里它看似很随便就可以放弃皇后这样的重要棋子……有时候你事后能想明白它为啥那样走,有时候你想不明白。

AI的厉害之处在于它像人吗?在于自动化吗?

不,AI的厉害之处在于它不像人!

它能找到人类理解范围之外的解决方案。

AI出现之后,人类已经不是世界规律唯一的发现者与探究者!

我们之前引以为傲的优越感,一下子荡然无存了

这还不够颠覆么?

 

Ⅰ 人工智能的定义

人工智能是指通过计算机技术和算法实现的智能行为,包括模拟人类思维、学习、推理、决策、语言理解和交互等多种能力。人工智能通过机器学习、深度学习、知识表示、自然语言处理等技术,使计算机系统能够处理和分析海量数据,自主学习和适应新的数据和场景,从而实现智能化的自主决策和行为。人工智能被广泛应用于各个领域,如医疗、金融、交通、教育、制造业等,为人们带来了诸多便利和改变。

 

从某种意义上,语言表达是人类信息和思想交流的窗口。人类并没有第七感,也没有脑电波直达的交流,信息沟通都通过口头语言和书面语言来传递。

(当然,可以说还有一些手势和肢体表达,但信息量基本可以忽略不计)

针对语言信息的人工智能处理,或者学术一点,“自然语言处理NLP”,是科学家们最早研究,人工智能最早发源的领域。

 

Ⅱ 自然语言处理的定义

自然语言处理(Natural Language Processing,简称NLP)是指利用计算机技术和算法对自然语言文本进行处理和分析的一门学科。自然语言处理旨在使计算机系统能够理解和处理人类的自然语言,包括识别和提取文本中的语义、情感、实体、关系等信息,生成自然语言文本,进行机器翻译、自动问答、文本分类、信息检索、语音识别等任务。

自然语言处理涉及多个领域的知识,如计算机科学、人工智能、语言学、心理学等,需要结合自然语言处理技术和语言学理论,才能实现对自然语言文本的深入理解和处理。自然语言处理技术的发展和应用,为人们提供了更加智能、高效、便捷的自然语言交互方式,也在人工智能领域中发挥着重要作用。

 

1956年,美国的达特茅斯学院举行了一次具有传奇色彩的学术会议(DartmouthConference),计算机专家约翰·麦卡锡提出了“人工智能”一词。这被广泛认为是人工智能正式诞生的日子。

在达特茅斯会议之前,还有一个1955年的小讨论会议“学习机讨论会”,在那次讨论会上,主持人也是神经网络的鼻祖之一的皮茨做了一个有趣总结:“……一派人企图模拟神经系统(NeuronNets),一派人企图模拟心智(mind)……但最终大家的目的一致”。

这句眼光毒辣的话,冥冥之中预示了随后几十年间AI研究“结构VS功能”的神经网络派和符号主义派两条路线之争。

 

Ⅲ 人工智能的两条路线之争

(1)符号主义

传统的研究思路,主张通过功能模拟入手,把智能看做是符号处理的过程,采用形式逻辑来实现人工智能,所以称之为“符号主义(Symbolism)”或“逻辑主义(Logicism)”

符号主义可以对形式化表达的问题(比如下棋,数学定理证明)有效,但人类很多的常识,以及接收的很多信息都无法用符号表达,比如视觉听觉等基本感知能力,虽然不像逻辑推理这样高大上,但符号主义至今都没有好的办法处理;而类似想象力,创造力,情感和直觉这些人脑特有的认知能力,目前更是符号主义无法企及的领域。

(2)神经网络

和符号主义功能模拟这种自上而下的思路相反,神经网络就是彻底的自底向上的结构仿真路线。直接模仿人脑智能的物质基础神经网络,希望通过人工方式构建神经网络,从而产生智能。从罗森布拉特的感知机,一直到当下大众所知道的深度学习网络,这个路线把智能活动看做是大量简单神经单元通过复杂连接和并行运行之后的结果,所以也被世人称为“连接主义(connectionism)”。

 

在80年初,一类名为“专家系统”的AI程序开始为全世界公司青睐,人工智能研究又迎来一波高潮。

一句话说,专家系统根据过往的知识经验积累来模拟人类专家从而进行逻辑推理和判断。

事实上,这正是人工智能两大路线的符号主义派的成果体现。第一条路线神经网络派在当时被自己的鼻祖明斯克按在地上摩擦,第二条路线则在80年代初恰逢其时的站了出来。

和神经网络旨在研发通用结构的AI模型不同,专家系统基于符号逻辑的概念。它们通常是由特定领域的专家(比如医药,金融或者制造业)开发的,仅限于一个很小的知识领域,依据一组专门知识推演出的逻辑规则来回答特定领域的问题。而随着专家系统的热门,“知识处理”也随之成为了主流AI研究焦点。

 

在专家系统变得越来越庞大后,为其提供和管理数据,开发和测试都变得越来越复杂。更要命的是,专家系统是不会自己学习的,这意味着必须不断更新底层逻辑来保持专家系统解决领域新问题的能力。这大大增加了系统维护成本和复杂性。

因此,到了80年代末期,大家都看明白了,专家系统虽然有点用,但领域过于狭窄,更新迭代和维护成本非常高。专家系统开始迅速在业界失宠,很多相关公司破产。

这就是人工智能的第二次繁荣后的又一次寒冬。而导致第二次AI寒冬的原因,除了前面所说的应用范围的局限性和商业过分追捧导致最后泡沫的破裂,还有那两个老大难问题:

  1. 计算机的算力瓶颈仍然无法突破
  2. 仍然缺乏训练AI的足够海量数据

 

 

2006年,杰弗里·辛顿(GeoffreyHinton)在science期刊上发表了重要的论文,提出深度信念网络(DeepBeliefNetworks,DBNs),“深度学习”正式诞生,基于人工神经网络的第三次AI发展浪潮开始了,且一直延续至今。

和前两次浪潮不同的是,当下计算机性能已经能让大规模的人工神经网络模拟得以成为现实。在1957年,罗森布拉特用IBM704去仿真感知机,每秒完成1。2万次浮点加法,而如今超级计算机速度是IBM704的10万亿倍以上。

 

2017年12月,Google在顶级机器学习会议NIPS上发表了论文《Attention is all you need》,提出在机器翻译上大量使用自注意力(SelfAttention)机制来学习文本表示,并把这种机制模型起了个霸气的名字:Transformer。

这篇论文一经出世就扫了整个自然语言处理学术界,Transformer迅速的取代了深度学习里传统的循环神经网络(RNN)成为了之后的大语言模型的标准配置。

 

受Google论文启发,基于Transformer模式的GPT系列模型作为OpenAI的当红炸子鸡,风头当下无两。

GPT全称是“GenerativePre-Training”,直译过来就是“生成式的预训练”

 

借助了Transformer,GPT这样的超大规模语言模型(GPT-3有1750亿个参数)在不需要标记数据的情况下,可以借助现成的海量标准数据以及超级算力,得到通用的“预训练”版本模型。

 

为什么试用过chatGPT的同学都感觉提升很明显?一个重要的原因是chatGPT引入了一个新的训练方法RLHF(论文<Training language models to follow instructions with human feedback>发表于22年3月),简单的说,就是用人类反馈的方式加强训练。

 

改变时代的AI来了!

【图文】【认知】ChatGPT究竟是什么?

RIPRO主题是一个优秀的主题,极致后台体验,无插件,集成会员系统
D3资源 » 【ChatGPT系列】【溯源】AI是如何进化成如今的样子?为什么是ChatGPT实现了颠覆?

提供最优质的资源集合

立即查看 了解详情