构建牢靠AI运行的LLM三角准则

引言

大型言语模型(LLM)存在渺小的后劲，但是想开收回高牢靠性的消费级LLM运行程序依然存在相当大的应战。在阅历过构建了数十个LLM系统的通常后，我将成功开发LLM运行的公式提炼为任何团队都可以遵照的3+1基本准则。

“LLM原生运行程序有10%是训练复杂模型关系的上班，而另外90%则是试验数据驱动的工程开发上班。”

构建消费级适用型LLM运行程序须要十分粗疏的工程通常。当用户无法间接与LLM交互时，必定精心编写有关揭示，以涵盖一切纤细差异，由于迭代用户的反应消息或许是无法用的。

LLM三角准则引见

LLM三角准则概括了构建有效LLM原生运行程序的基本指点方针。这一准则提供了一个松软的概念框架，指点开发人员构建强健牢靠的LLM原生运行程序，并提供指点和允许。

从SOP视角提升三个突出的准则，从而成功最佳的LLM经常使用

关键点

总体来看，LLM三角准则引入了四种编程准则，以协助你设计和构建LLM原生运行程序。

其中，第一个准则是规范操作程序(SOP：Standard Operating Procedure)。SOP提出咱们三角形的三个顶点：模型、工程技术和高低文数据。

经过SOP的视角提升上述三角形的三个顶点的准则是确保高性能LLM原生运行程序的关键。

1.规范操作程序(SOP)

规范操作程序(SOP)是工业界妇孺皆知的术语。这是一套由大型组织编写的分步骤说明，旨在协助员工启动日常操作，同时每次都能坚持高品质和相似的结果。经过编写具体的说明，这将不足阅历或低技艺的工人变成了专家。

LLM三角准则自创了SOP范式，并激励你将该模型视为不足阅历/不熟练的工人。咱们可以经过向模型“讲授”专家应该如何执行这项义务，来确保更高品质的结果。

SOP指点准则

“假设没有SOP，即使是最弱小的LLM也无法提供一直如一的高品质结果。”

在思索SOP指点准则时，咱们应该确定哪些技术将协助咱们最有效地实施SOP。

（1）认知建模

为了创立SOP，咱们须要选取体现最佳的员工(畛域专家)，模拟他们如何思索和上班，以成功相反的结果，并记载下他们所做的一切。

在经过精心编辑和正式确定之后，咱们将提供具体的说明来协助每一位不足阅历或低技艺的工人取得成功，并做出低劣的上班业绩。

与人类一样，经过简化或拆分义务来增加义务的认知难度至关关键。遵照繁难的墨守成规的指点比简短复杂的程序更间接。

在这个环节中，咱们识别出暗藏于其中的隐式认知“腾跃”——专家们采取的小而有看法的步骤，这些步骤会清楚影响结果。这些巧妙的、有看法的、往往显而易见的假定或选择会对最终结果发生严重影响。

“隐式认知腾跃”的一个例子

假定咱们想为SQL剖析师建模。咱们将首先采访他们，并问他们几个疑问，例如：

一个剖析师所阅历的认知环节及对其启动建模的举例

隐式认知环节出现出多种外形和方式;一个典型的例子是“特定畛域的定义”。例如，“滞销书”或许是咱们畛域专家的一个突出术语，而不是其余一切人都了解的术语。

在咱们的SQL剖析示例中裁减隐式认知环节

最终，咱们将取得一个完整的SOP“配方”，让咱们能够模拟咱们体现最佳的剖析师。

在绘制这些复杂的环节时，将其可视化为图形或许会有所协助。当整个环节巧妙且触及许多步骤、条件和拆分时，这尤其有用。

图形方式显示的“SQL Analyst SOP”包括一切必需的技术步骤

咱们的最终处置打算应该模拟SOP中定义的步骤。在此阶段，请尽量疏忽最终的成功局部。稍后，你可以在整个处置打算中的一个或多个步骤/链上成功它。

与其余准则不同，认知建模(SOP写作)是惟一独立的环节。剧烈倡导你在编写代码之前先对流程启动建模。话虽如此，在实施它的同时，你或许会依据你取得的新见地或了解来加以扭转。

如今，咱们了解了创立一个定义良好的SOP的关键性，该SOP指点咱们对疑问的业务了解，让咱们探求如何经常使用各种工程技术有效地实施它。

2.工程技术

工程技术可协助你实践实施SOP并充沛应用模型。在思索工程技术准则时，咱们应该思索工具箱中的哪些工具(技术)可以协助咱们实施和塑造咱们的SOP，并协助模型成功与咱们启动良好的沟通。

工程技术原理示用意

值得留意的是，一些工程技术仅在揭示层中成功，而许多技术须要软件层才干有效，还有些技术须要将两层结合在一同。

工程技术层架构

虽然简直每天工程技术人员都会发现与发明一些纤细差异和技术改良，在此我将引见两种关键技术：上班流/链和代理。

（1）LLM原生架构(又名“流工程”或“链”)

LLM原生架构形容了运行程序为生成义务结果而阅历的代理执行流程。

咱们流程中的每一步都是一个独立的环节，必定出现该环节才干成功咱们的义务。其中，一些步骤将会以繁难确实定性代码方式执行;而关于另外某些步骤，咱们会经常使用LLM(代理)方式来执行。

为此，咱们可以进一步反思咱们绘制的规范操作程序(SOP)并思索如下疑问：

一个基于给定SOP的“维基百科作者”运行的LLM原生架构示例

在剖析咱们前面所给出的架构/图的下一个步骤之前，咱们首先定义此步骤的关键属性：

输入和输入——这一步骤的特色是什么?在咱们采取执行之前须要预备些什么?(这也可以作为代理的输入格局)

（2）什么是代理?

LLM代理是LLM原生架构中的一个独立组件，其中会触及到LLM调用。

这里给出的仅是LLM用法的一个实例，其中的揭示将蕴含高低文内容。并非一切代理都是雷同的执行方式——有些会借助现成的“工具”执行，有些则不会，还有些或许在流程中“只经常使用一次性”，而另一些则或许携带之前的输入和输入消息被递归调用或屡次调用。

借助现成“工具”执行的代理

一些LLM代理可以经常使用现成的“工具”，这些工具其实是一些用于计算或网络搜查等义务的预约义函数。代理输入指令，这些指令指定运行程序执行的工具和输入数据，并将最终执行结果前往给代理。

为了了解这个概念，让咱们来看一个繁难的工具调用的揭示成功。这种成功打算甚至可以用于未经过原生训练的调用工具的模型：

You are an assistant with access to these tools:- calculate(expression: str) -> str - calculate a mathematicalexpression- search(query: str) -> str - search for an item in the inventoryGiven an input, Respond with a YAML with keys: `func`(str) and`arguments`(map) or `message`(str).Given input

辨别具有工具的代理(因此是自主代理)和其输入可以造成执行某一举措的代理是十分关键的。

“自主代理是能够生成成功义务的方法的代理。”

自主代理有权选择能否采取执行以及采取何种执行。相比之下，一个(非自主)代理只是“处置”咱们的恳求(例如分类)。基于这个环节，咱们确实定性代码执行一个举措，而模型对此没有控制权。

自主代理与触发起作的代理比拟

随着咱们参与代理在布局和执行义务方面的自主权，咱们增强了其决策才干，但或许会降落对输入品质的控制。虽然这看起来像是一个让它更“默认”或“先进”的神奇处置打算，但这也随同着会失去对品质控制的代价。

自主代理的利害掂量

值得留意的是，要警觉齐全自主代理的诱惑。虽然它们的架构或许看起来很吸引人，也更繁难，但将其用于一切(或作为最后的PoC)或许会对“实践消费”状况发生很大的诈骗作用。另外，自主代理难以调试且无法预测(照应品质不稳固)，这使得它们无法用于消费。

目前，代理(没有隐含的指点)还不太长于布局复杂的流程，通常会跳过关键步骤。例如，在咱们的“维基百科作者”运行示例中，它们只会开局写作，跳过系统化的环节。这使得代理(尤其是自主代理)仅与模型一样好，或许更准确地说，仅与它们相关于你的义务所训练的数据一样好。

与其让代理(或一群代理)自在地以端到端方式成功一切事件，不如尝试将它们的义务限度在须要这种矫捷性或发明力的流程/SOP的特定区域。这可以发生更高品质的结果，由于你可以同时享用这两个环球。

一个很好的例子是AlphaCodium(：经过将结构化流与不同的代理(包括一个担任以迭代方式编写和测试代码的新型代理)相结合，它们提高了在CodeContest上GPT-4的准确性(pass@5)，其准确率从19%回升到44%。

AlphaSodium的LLM架构

虽然工程技术为实施咱们的SOP和提升LLM原生运行程序奠定了基础，但咱们还必定细心思索LLM三角准则的另一个关键组成局部：模型自身。

3.模型

咱们选用的模型是咱们名目成功的关键组成局部。在这一方面，选用经常使用大型模型(如GPT-4或Claude Opus)或许会发生更好的结果，但相当低廉，而较小的模型或许不那么“痴呆”，但有助于资金估算。在思索模型准则这一方面时，咱们应该着眼于确定咱们的解放和指标，以及什么样的模型可以协助咱们成功它们。

模型原理

“并非一切LLM都是一样的;因此，请将选定的模型与要成功的义务相婚配即可。”

理想上，咱们并不总是须要最大的模型;这取决于义务。为了找到正确的婚配，咱们必定有一个试验环节，并尝试咱们处置打算的多种不同版本。

无妨先让咱们来看一个“不足阅历的工人”的类比，这将会对作出选择有所协助。例如，一个领有许多学历的十分“痴呆”的工人或许很容易在某些义务中取得成功。虽然如此，他们或许对这份上班有些资格过高;因此，雇佣一个“更廉价”的候选工人将更具老本效益。

在思索模型时，咱们应该依据咱们情愿采取的掂量来定义和比拟处置打算：

在许多状况下，在你领有“外部专业常识”之前，为阅历丰盛的员工支付一点额外费用是有协助的——LLM也是如此。

假设你没有标定好的数据，那么倡导你从一个更弱小(更大)的模型开局，搜集数据，而后应用它经过一些小样本或微调来增强模型的才干。

微调模型

在对模型启动微调之前，你必定思索几个方面：

LLM作为高低文学习者的才干，以及新模型允许更大的高低文窗口的理想，极大地简化了咱们的成功;因此，即使没有微调，也能提供杰出的结果。但是，由于微调的复杂性，倡导将其作为最先手腕或齐全跳过。

相反，对特定义务(例如结构化JSON输入)或特定畛域言语的模型启动微调或许是十分高效的。一个小型的、特定于义务的模型或许十分有效，并且在推理方面比大型LLM廉价得多。但无论如何，确保理智地选用你的处置打算，并在更新到LLM训练之前评价一切关系思索起因。请牢记：

“即使是最弱小的模型也须要关系且结构良好的高低文数据才干发光。”

4.高低文数据

LLM是高低文情境学习者。这象征着，经过提供特定义务的消息，LLM代理可以协助咱们在没有不凡训练或微调的状况下执行它。这使咱们能够轻松地“讲授”新常识或技艺。在思索高低文数据准则时，咱们应该努力于组织和建模可用数据，以及如何在揭示中组合数据。

高低文数据准则

为了构建咱们的高低文，咱们须要在发送给LLM的揭示中蕴含关系的(高低文)消息。演绎来看，咱们可以经常使用两种高低文：

You are the helpful assistant of , a at

Summarize the provided emails while keeping a friendly tone.---<email_0><email_1>

高低文通经常常使用“揭示模板”来成功(例如jinja2或mustache，或许只是原生格局化文字字符串)。经过这种方式，咱们便可以优雅地组合它们，同时坚持揭示消息的精髓：

# Embedded context with an attachment contextprompt = f"""You are the helpful assistant of {name}. {name} is a {role} at {company}.Help me write a {tone} response to the attached email.Always sign your email with:{signature}---{email}"""

（1）小样本学习

小样本学习是一种经过示例“教诲”LLM而不须要少量微调的弱小方法。在揭示中提供一些代表性示例可以指点模型了解所需的格局、格调或义务。

例如，假设咱们宿愿LLM生成电子邮件回复，咱们可以在揭示中蕴含一些写得很好的回复示例。这有助于模型学习首选的结构和音调。

咱们可以经常使用不同的例子来协助模型捕捉不同的极其状况或纤细差异，并从中学习。因此，必定蕴含各种样本示例，以涵盖运行程序或许遇到的一系列场景。

随着运行程序的增长，你可以思索成功“灵活小样本(”，这触及以编程方式为每个输中选用最关系的示例。虽然它参与了你的成功打算的复杂性，但它确保了模型在每种状况下都能获取最适合的指点，从而有助于清楚提高各种义务的性能，而无需启动低廉的微调。

（2）检索增强生成

检索增强生成(RAG：是一种在生成照应之前为其余高低文检索关系文档的技术。这就像让LLM极速阅读特定的参考资料，以便协助提供须要的答案一样。这种技术可以使照应坚持最新和实在，而无需从新训练模型。

例如，在开发允许聊天机器人运行程序时，RAG可以提取关系的维基页面协助，以告知LLM关系的答案。

这种方法经过将反响建设在检索到的理想基础上，协助LLM坚持最新形态并增加空幻的消息。RAG关于须要更新的或专业化的常识而无需从新训练整个模型的义务特意繁难。

例如，假定咱们正在为咱们的产品构建一个允许聊天。在这种状况下，咱们可以经常使用RAG从咱们的维基协助中检索关系文档，而后将其提供应LLM代理，并要求其依据疑问撰写答案并提供文档。

在实施RAG时，有三个关键局部须要留意：

（3）提供关系背景

与你的代理关系的高低文消息或许会有所不同。虽然这仿佛是有益的，但为模型(就好似一位“非技术工人”)提供过多的消息或许会让它手足无措。通常上，这会造成模型学习不关系的消息(或令牌衔接)，这或许会造成混杂和幻觉(。

例如，当模型Gemini 1.5作为LLM颁布并投入经常使用时，可以处置多达1000万个符号，这造成一些从业者质疑高低文能否依然是一个疑问。虽然这是一项了不起的成就，特意是关于某些特定场景运行(如与PDF聊天)，但它依然有限，尤其是在推理各种文档时。

因此，稀释一下揭示消息并仅向LLM代理提供关系的消息至关关键。这降落了模型在有关符号上的处置才干，提高了品质，提升了提前，并降落了老本。

当然，曾经有许多技巧可以提高所提供高低文的关系性，其中大少数与你如何存储和编目数据有关。

例如，关于RAG运行程序来说，参与一个数据预备来格局化一下你存储的消息是很繁难的(例如，基于文档的疑问和答案，而后只向LLM代理提供答案;这样，代理就可以取得一个总结和更短的高低文)，并在检索到的文档上经常使用从新排序算法来提升结果。

“数据为LLM原生运行程序的引擎提供动力。因此，高低文数据的有效性策略设计会有助于更高效地监禁它们的真正后劲。”

论断

LLM三角准则提供了一种结构化的方法来开发高品质的LLM原生运行程序，它有助于缩短运行LLM的渺小后劲和理想环球实施面临的应战之间的差距。开发人员可以经过专一于3+1关键准则(模型、工程技术和高低文数据)来创立更牢靠、更有效的LLM驱动的处置打算，一切这些准则都以明白的SOP为指点。

LLM三角准则

关键点演绎

从一个明白的SOP开局：模拟你的专家的认知环节，为你的LLM运行程序创立一个墨守成规的指南。在思索其余准则时，将其作为基本指南。

经过运行LLM三角准则，开发公司就可以逾越繁难的概念验证，开收回弱小的、可用于实战型的LLM运行程序，从而真正应用这项改革性技术的力气。

译者引见

朱先忠，社区编辑，专家博客、讲师，潍坊一所高校计算机老师，自在编程界老兵一枚。

原文题目：The LLM Triangle Principles to Architect Reliable AI Apps，作者：Almog Baku

链接：。

想了解更多AIGC的内容，请访问：

AI.x社区