OpenAI翁荔提出大模型 万字blog详解抵制方法 产幻要素和检测方式 内在幻觉

大模型幻觉还分外在、内在了——

OpenAI华人迷信家翁荔最新Blog，提出 LLM内在幻觉 。

有别于代指模型生成与理想不符、虚拟、不分歧或许毫有意义的内容，翁荔将LLM“幻觉”疑问详细化为 模型输入内容是虚拟的，并且不基于所提供的高低文或环球常识 。

由此，幻觉有两种类型：

之前，翁荔还提出过Agent公式：Agent=大模型+记忆+被动布局+工具经常使用，被一些网友称为是“看到的无关Agent的最好的文章”。

而这次关于大模型幻觉的这篇Blog，雷同“重工”，文章超长，足足24篇参考文献：

翁荔重点关注内在幻觉，讨论了三个疑问：发生幻觉的要素是什么？幻觉检测，抵制幻觉的方法。

量子位在不扭转原意的状况下，对原文启动了编译整顿。

量子位已获原作者授权翻译转载。

发生幻觉的要素是什么？

思考到一个规范的可部署LLM须要经过预训练和微调来启动对齐和改良，所以要素剖析从这两个阶段入手。

预训练数据疑问

预训练数据集旨在代表一切可取得的书面方式的环球常识，因此体量渺小。

从公共互联网爬取数据是最经常出现的选用，但这就造成或许会出现一些过期、缺失或失误的消息。由于模型或许仅仅经过最大化对数似然来失误地记忆这些消息，所以模型或许会犯失误。

微调新常识

经过监视微和谐人类反应强化学习来微调预训练LLM是提高模型某些才干的罕用技术。微调阶段不免引入新常识。

而微调通常消耗的计算资源较少， 经过小规模的微调模型能否能牢靠地学习新常识还有待切磋 。

Gekhman等人在往年的一项钻研中讨论了一个疑问：用新常识启动LLM微调能否会促使幻觉现象的出现。

他们发现：LLM学习带有新常识的微调示例，要比学习与模型预先存在的常识分歧的示例，学得更慢；一旦学习了这些带有新常识的示例，模型发生幻觉的偏差就会参与。

详细来说，给定一个敞开式问答数据集