虚构主播技术在默认问答中的运行

1.1 元宇宙

Facebook更名Meta带火了元宇宙概念，元宇宙是一个与事实环球平行的虚构环球，在这个虚构环球中，人们可以像在事实环球中一样实事实时交互，经过真切的人、物笼统经常使用户沉迷于虚构环球之中，身临其境地感触周遭环境并与其余用户启动交互。

1.2 虚构人

虚构人是经常使用数字技术分解的人类笼统，早期虚构人如初音未来、周杰伦和邓丽君的隔空对唱。最近，随着人工默认技术的开展，一批新一代，具有类人默认的虚构人也应运而生。如可与真人对话的央视虚构主播小C，清华大学虚构在校生华智冰，虚构美妆达人柳夜熙等。此外，虚构人也开局走入职场，如阿里巴巴的头等数字人员工AYAYI。

2. 拟人关系技术引见

2.1 3D建模

虚构人的3D模型一种依赖3D动画师的设计，另外一种则来自对事实环球物体的三维重建。随着虚构人技术的始终开展，产生了越来越多的共性化需求，如将用户自己的笼统只作为虚构人等，3D建模技术也始终开展。

传统3D建模方法关键分为多目视觉、红外和激光三种。多目视觉是经过多角度拍摄的同一物体的图像，经常使用婚配特色点启动建模，这种建模模式受光线、遮挡影响较大，须要从很多角度拍摄照片，才干笼罩物体全貌；红外建模的代表就是微软的Kinect，经常使用多路红外光照耀物体外表，取得物体上各点的深度消息，成功3D建模；激光建模的原理与红外相似，只不过经常使用的是激光，重建精度较高，但老本也较高，一版用于精度敏感的工业畛域。

近年来，随着深度学习技术的开展，学界和工业界开局越来越多地经常使用基于“神经辐射场”技术的NeRF，该方法经常使用深度网络和多角度辐射数据对辐射场启动建模，进而取得未笼罩角度的图像。

虚构人须要具有跟事实环球人物一样的言语了解、对话才干，ChatGPT等大言语模型的产生，提供了这个或者，使虚构人可以与虚构和事实环球的人物交换，成功类人默认。

ChatGPT等大言语模型的颁布，大大优化了默认对话的质量，生成式对话模型的图灵测试逐渐凑近人类水平，这种状况下，将文字转为语音，经过虚构人“说”进去可以大大参与身临其境的觉得。将文字转为语音的TTS技术施展了关键作用，按处置的实时性，TTS可分为流式和非流式两种，非流式TTS提前较大，无法满足实时性要求。因此，在虚构人运行中，普通驳回流式TTS。

虚构环球和事实环球的交互，除了传统的电脑、电视、手机屏幕外，还可以经过具有3D平面成果的VR头戴式设施和AR眼镜等可穿戴设施启动人机交互。

AIGC是一种新兴的人工默认内容生成技术，既包含文字，如ChatGPT，又包含图像，如GAN和基于分散模型的图像生成技术。在人机交互环节中，虚构人对疑问的回答的文字、语音，以及举措、口型、表情都须要经常使用AIGC技术生成。

3. 虚构主播技术在默认问答中的运行

2022年8月12日，汽车之家正式发表签约虚构数字人IP-“宫玖羽”担任“汽车之家特邀AI体验官”。宫玖羽不只以“机车女神”的笼统满足用户的情感需求，同时也能完美允许虚构直播、AR/VR关系运行。基于大模型的默认问答系统满足了用户的搜查、查问需求，虚构数字人的引入参与了运行的互动属性，有助于延伸用户的留存期间。

3.1 大模型问答系统

问答系统能够为用户提供极速和精准的答案，可以清楚缩小用户在查找消息或处置疑问时所需的期间，优化用户满意度和体验，参与用户黏性，进一步优化用户留存。

大模型具有弱小的人造言语了解和生成才干，但因为大模型的幻觉疑问，技术团队选用经常使用大模型结合汽车之家搜查数据来处置用户疑问。大模型关键关注两方面的才干，一方面是基于若干文档启动总结演绎出冗长摘要的才干，一方面是间接生成准确答案的才干。

线上运行了基于汽车之家垂类数据训练的6B参数大模型，答案输入驳回流式输入的模式，能有效缩小用户期待期间，目前V100S显卡上第一个token前往期间约30ms，输入速度约25tokens/s。流程图如下图所示。

3.2 面部表情生成系统

因为默认问答系统的实时性要求，技术团队选用了推理期间较短的经典音频图像生成网络Wav2Lip，其模型结构如下图所示。

Wav2Lip模型经常使用了SyncNet的判别器和LipGAN的生成器，模型训练驳回了两阶段的模式。在第一阶段，训练了一个用于判别嘴唇与声响能否同步的判别器；在第二阶段，驳回编码-解码架构训练了一个生成器和两个判别器，其中一个判别器是第一阶段预训好的用于判别嘴唇与声响能否同步的判别器，生成器由一个身份编码器、一个语音编码器和一团体脸解码器组成，针对生成的嘴唇区域图像含糊疑问，引入了另外一个图像质量判别器。

经过技术团队两个月的优化，Nvidia V100s显卡上单帧图像生成期间到达10ms，峰值显存占用3GB，综合思考TTS及前后处置期间，最终FPS约为25，到达了实时交互的指标。此外，因为线上显卡资源有限，为了尽或者满足高并发须要，之家云部署的一个实例可以允许2个用户，线上一块Nvidia V100~16G显卡可以部署5个实例，允许10个用户并发，思考实践并发用户量低于线上用户总量，上线之后每块显卡可允许>10个用户。

作者简介

■商业默认部-默认用车团队

■简介：2020年参与汽车之家，目前任职于商业默认部-默认用车团队，关键担任图像检测、识别、生成、AR/VR关系上班。

■商业默认部-默认用车团队

■简介：2018年参与汽车之家，目前任职于商业默认部-默认用车团队，关键担任搜查默认问答系统、模型算法优化等关系上班。