综述

大家好，我是刘聪NLP。

大模型曾经展现出了较强的文本生成才干，但随着经常使用场景变得越加复杂和严厉，除了防止生成误导或不当舆论内容外，往往还宿愿可以满足用户的不凡需求。而可控文本生成就是为了在坚持文本生成有用性、流利性和多样性的同时，保障文本合乎预约的控制条件，例如安保性、主题分歧性、言语格调等。

当天给大家带来一篇综述，引见大模型可控文本生成（Controllable Text Generation, CTG）的关系技术。

Paper:https://github.com/IAAR-Shanghai/CTGSurvey

可控文本生成的义务

在CTG畛域，义务可以大抵分为两种类型：内容控制（或言语控制/硬控制）和属性控制（或语义控制/软控制）。

可控文本生成的方法

CTG方法依据干预模型生成的阶段区分为训练阶段和推理阶段。

再训练：当预训练模型不充沛或要求修正模型架构时，经常使用专门设计的控制条件数据集从头开局训练模型，以更好地顺应这些控制需求。

微调：应用较少的数据和计算资源，经过专门的数据集将所需的控制属性兼并到模型参数中来调整预训练模型。

强化学习：驳回鼓励消息疏导模型输入特定控制条件的文本。

揭示工程：经过修正输入揭示来指点模型的输入。

解码干预：经过修正生成输入的概率散布或在解码环节中运行特定规定来影响Token的选用，以扭转输入文本，包括分类器疏导、类条件言语模型、基于能量的模型、模型自反应和外部常识。

可控文本生成的评价

CTG义务的评价可分为智能评价、人工评价和基于LLM的评价三种。

普通目的：基于N-Gram堆叠的目的、基于言语模型的目的、基于距离的目的;

不凡义务目的：情感、话题、毒性；

目前可控文本生成的评测榜单重要包括：CTRLEval、ConGenBench、 CoDI-Eval、FOFO。

本文转载自​​，作者：