什么是LLMOps?

1.概念

自2018年GPT-2的问世以来，大言语模型（LLM）如GPT系列逐渐开展壮大，尤其是GPT-3及其后续版本的推出，性能方面清楚优化。这些模型的弱小才干催生了泛滥运行，如客户服务的聊天机器人、多言语翻译服务和辅佐写作编程的工具等。面对LLM在实践运行中的共同应战，业界开展出了新的工具和最佳通常，以更有效地治理这些模型的整个运行生命周期，这一进程的汇合即为“LLMOps”。

LLMOps（Large Language Model Operations）定义为大言语模型运维，其缩写LLMOps的意思是面向LLM的MLOps，涵盖了大言语模型（如GPT系列）开发、部署、保养和优化的一整套流程。其指标是确保高效、可裁减和安保地经常使用这些弱小的 AI 模型来构建和运转实践运行程序。它触及到模型训练、部署、监控、更新、安保性和合规性等方面。

要了解LLMOps，关键在于把握大言语模型（LLMs）作为服务的运作流程。这包含用户输入（绿色局部），在输入到模型之前会阅历一些解决步骤；模型输入（白色局部），在展现给用户之前也会阅历几轮转换。可以看出，揭示在传递给模型之前需经过多个阶段，这些步骤虽有差异，但基本的目的相反：确保输入被正确了解，并且模型的输入与高低文相婚配。

2.LLMOps Cookbook

LLMOp性能中应该经常使用哪种模型，市面上有各种类型的模型可供选用，每种模型都针对特定的用例启动了优化，且有不同的大小选项等，选用适宜的模型关键取决于运行和可用资源。

LLM模型和提供商可以分为以下几类：

专有模型：这一类别包含像OpenAI（GPT模型）、Google（PaLM模型）和Anthropic（Claude模型）这样的公司，它们训练专有的LLM，并经过Web界面或API端点将它们作为服务提供。

开源模型：这一类别由社区、学术界或像Eleuther AI和Big Science这样的组织开发的收费模型。理想状况下，咱们可以驳回一个开源模型，并自行构建服务，包含LLMOps基础设备。

提供基础设备的公司：这些公司为开源LLM提供LLMOps基础设备，他们经过提供部署服务来成功盈利，如Together AI这样的公司，提供了轻松定制LLMOps基础设备的时机。

专有模型是由领有大型专家团队和少量估算的公司领有的闭源基础模型，通常比开源模型更大，因此具备更好的性能，由于是现成的模型，因此很容易经常使用。专有模型的关键缺陷是API费用低廉。此外，闭源基础模型为开发人员提供的灵敏性很少或许基本没有灵敏性。

开源模型通常在Hugging Face、魔搭上以社区方式组织和托管，通常比专有模型性能更少。但从好的方面来看，比专有模型更具老本效益，并为开发人员提供了更大的灵敏性。

大言语模型（LLM）无论是专有还是开源，通常都须要经过微调才干顺应特定的运行场景。市面上已有针对特定义务预微调的LLM，如聊天机器人、文本摘要和情感剖析模型。此外，针对长文本解决的需求，一些模型提供了能够解决更多高低文（如GPT 3.5的16k高低文大小变体）的长高低文版本。

假设现有的模型不可满足特定需求，可以选用对模型启动微调或从头开局训练，而选用适宜的数据集关于后者尤为关键，它选择了模型对指标义务的了解和顺应才干。

假设咱们的运行程序须要对现有模型启动微调，相关步骤也应成为LLMOps设置的一局部，如今将这个定制步骤参与到原始的图表中：

LLMOps上班流程将模型定制步骤（橙色局部）归入通用上班流程中。领有一个分歧的微调流程可以协助开发者随着更少数据的可用性，裁减模型的常识，准许轻松更新LLM版本或启动其余修正。当依赖第三方模型时，要留意这些模型或许在可用性到老本方面出现变动，这或许会迫使咱们切换到不同的基础模型。一个强健的LLMOps性能支持，将使咱们能够经过便捷地用不同的LLM交流“模型”框来顺利解决这种关键状况。

而后为了确保在LLMOps基础设备中有效地启动训练、微和谐模型优化，坚持训练数据与后续推理数据格局的分歧性至关关键。通常，驳回JSON Lines（.jsonl）格局来组织训练数据，这种格局得益于其结构特点，十分适宜用于LLM的微调，并且能够高效地解决大规模数据集。

典型的用于微调的.jsonl文件像这样：

{"prompt": "疑问：法国的首都是什么？", "completion": "法国的首都是巴黎。"}{"prompt": "疑问：谁写了《麦克白》？", "completion": "《麦克白》是由威廉·莎士比亚写的。"}

文件中的每一行都是一个独立的JSON对象，代表一个繁多的训练示例，其中prompt和completion键区分批示输入文本和预期的模型照应。此外，这种格局便于向模型的常识库中增量参与或导出新数据。

最后，在设置LLMOps基础设备时，模型参数也很关键，由于它们会影响模型大小和资源消耗等个性。

关于训练参数，优化训练参数以平衡模型的复杂性与部署的限度（如内存经常使用）至关关键。这种优化关于在资源容量不同的多样化环境中部署模型十分关键，确保模型不只先进，而且实用于事实环球的运行。

关于推理参数，调整最大token参数可以控制照应的长度和随机性。这些设置作为LLMOps环节的一局部启动治理，以使模型的输入与特定运行要求和用户用意坚持分歧。

在经典MLOps中，ML模型在保管的验证集上启动验证，并基于模型性能度量启动评价。然而如何评价LLM的体现呢？如何判别回应是好是坏？目前，相关组织正在对模型启动A/B测试，为了协助评价LLM，出现了HoneyHive、HumanLoop等工具。

当基础模型训练或微调成功，并且对成绩满意后，接上去就是部署模型的阶段。在LLMOps中，部署象征着将言语模型从训练形态转移到消费环境，使其能够在实践上班中施展作用。

部署还包含设置咱们与消费中的模型通讯的接口。通常，接口取决于解决形式：

在不同版本更新或切换模型，须要监控LLM驱动的运行程序对应底层API模型的变动。目前曾经出现了监控LLM的工具，如Whylabs、HumanLoop等。

4.总结与展望

经常使用LLMOps（Large Language Model Operations）可以清楚优化开发和运维大言语模型（LLM）运行的效率和效果。然而依然面临着以下的应战：

综上所述，LMMOps面临的应战涵盖了技术、安保、资源、团队单干等多个方面。为了克制这些应战，须要综合思考技术翻新、团队单干、数据安保和隐衷包全等多个起因。

自OpenAI的ChatGPT颁布以来，LLM是目前AI畛域的抢手话题。这些深度学习模型可以生成人类言语输入，使其成为会话AI、写作助手和编程助手等义务的弱小工具。随着LLM在AI行业的遍及，咱们以为：

总体而言，LLM和LLMOps的兴起代表了构建和保养AI产品的严重转变。

参考文献

[1].​​ ​​ ​

[2].​​ ​​ ​

[3].​​ ​​ ​

[4].​​ ​​ ​

[5].​​ ​​ ​

[6].​​ ​​ ​

[7].​​ ​​ ​

[8].​​ ​​ ​

[9].​​ ​​ ​

[10].​​ ​​ ​

[11].​​ ​​ ​

[12].​​ ​​ ​

[13].​​ ​​ ​

[14].​​ ​​ ​

[15].ModelScope：​ ​​ ​

[16].​​ ​​ ​

[17].​​ ​​ ​

[18].​​ ​​ ​

本文转载自​​，作者：​​