大模型与生成式大模型的区别 什么是生成式大模型

​ “生成式AI或许说AIGC的实质是一种基于概率散布的数据表征技术”

最近一段期间不时在做AIGC(人工智能生成内容)方面的运行，而AIGC属于生成式AI的范围；刚开局只是把这些生成式AI拿上来用一下，但随着对大模型了解的加深，突然发现生成式AI如同也没有那么便捷。

比如说，生成式AI是怎样成功的？或许有人会这么回答，是基于Transformer等架构成功，基于概率散布的一种模型。当然，这么说如同也没错，但非生成式AI又是怎样成功的呢？

生成式AI

什么是生成式AI？

便捷来说，能够依据输入输入新的内容的AI就是生成式AI；但生成式AI是怎样做到的呢？

有很多人会把大模型当作生成式AI，但理想上生成式AI和大模型并不是一回事；生成式AI属于更普遍的一个范围，任何能够成功内容生成的AI技术都属于生成式AI。

但大模型生成内容只是生成式AI的一种成功形式，除了大模型之外还有其它的形式可以成功生成式AI；比如，隐马尔可夫模型，生成反抗网络等。

那生成式AI是怎样成功的呢？它的技术原理是什么？咱们都知道模型在设计成功之后，经常使用训练数据启动训练，就可以让模型生成相关畛域的内容；但这个形式是怎样设计成功的呢？

严厉来说，如今的生成式AI都是基于概率散布成功的；生成式AI重要分为两个局部：

学习数据散布：经过训练数据学习输入特色X和标签Y的联结概率散布P(X, Y)

生成新样本： 经过条件概率P(X|Y)或P(Y|X)，生成新的数据样本

所以，便捷来说生成式AI就做了两件事，学习旧数据，生成新样本；大模型的训练就是学习的环节，而回答疑问或生成内容就是在生成新的样本。

但详细怎样学旧数据，又怎样生成新样本，这是一个须要处置的疑问；而目前的生成式大模型大都是基于Transformer架构，成功的一种数学模型。

所以，生成式AI是一种经过学习联结概率散布，从而能够生成新的数据样本；它不只能够分类，而且能生成与训练数据相似的样本，而这也是AIGC的基础，没有它AIGC就是水中月，镜中花。

这也解释了，为什么大模型须要少量的线性运算，要素就在于只要线性的概率散布，才有预测的或许性；毕竟大模型须要就是有迹可循。

ok ，既然前面说了生成式大模型是基于概率启动预测，那怎样能力用概率去表征训练数据呢？也就是说大模型学习的原理是什么样的？

大模型训练或许说学习的环节，就是对训练数据的表征环节，经过对训练数据的表征，大模型参数就可以记载不同数据之间的相关，比如用向量启动示意。

经过计算不同数据之间的向量相关，以此来示意数据之间的概率相关等。

因此，以目前市面上各种各样的AIGC产品来看，比如文字，图像，视频，音乐，代码生成等模型；都是经过一种数学模型和算法，来表征这些数据之间的相关，也就是空间向量的坐标相关。

经过这些相关，大模型就能够去了解用户的输入，而后依据输入生成新的数据样本。

所以，生成式AI的实质或许说AIGC的实质，是经过对某种数据特色的学习和形容；而后再依据这些数据特色，去生成相似的新的数据。

举例来说，小孩子第一次性看到照片，他也疑问得摄像的技术，也不知道什么是像素点；但假设你通知他，用笔这样，那样，再这样就可以画出一幅画；那么他就会模拟你这个行为去画一幅画，只管他或许并不知道这是一幅画。

而这就是数据的表征，只管大模型并不知道什么是像素点，什么是采光；但它能依据不同图像之间的区别，记住这样那样再这样就可以生成一幅画。

所以说，生成式AI或许说生成式大模型的实质是一种数据表征技术，而后依据表征特点的概率，生成一个最合乎概率的内容。

而生成式AI最大的作用就是——发明，经过这种形式或许会让AI具有远超人类自身的发明力。

原文链接：​ ​​ ​