从文本生成3D服装板片 影眸联结提出DressCode 上科大

3D生成是生成式人工智能和计算机图形学畛域最有目共睹的话题之一，合乎影视、游戏规范的3D生成尤其受产业界关注。在消费流程中，普通品类的3D资产往往经过手工建模或许扫描的模式制造。但作为3D资产的一个关键类别，服装资产的往往起源于平面板片与物理模拟等流程，而不是间接在3D上建模。

上海科技大学、影眸科技与宾夕法尼亚大学联结提出DressCode，它是首个齐全允许 CG 操作，能够兼容到工业流程的 3D 服装生成框架，并经过文本的疏导，成功智能生成具备高品质渲染效果、可编辑、可驱动、可仿真的 3D 服装。

Dresscode曾经被计算机图形畛域国内顶级期刊 Transactions on Graphics 接纳，并将在 国内计算机图形顶级会议 SIGGRAPH 2024 上展现。

引言

服装在人类外观中表演着关键角色，这突显了服装数字化关于数字人发明的关键性。近期在 3D 内容发明畛域的渺小停顿关于数字人的发明至关关键。

但是，关于服装生成的上班仍有空缺，因为通用生成方法生成的网格或神经场与实践数字服装消费流程不兼容，使这类方法间接运行于服装类别并未能到达很好的效果。

为了处置这些疑问，来自影眸科技与上海科技大学的研发团队提出了一个文本驱动的 3D 服装生成框架——DressCode，旨在为初学者设计数字服装方便化，并在时兴设计、虚构试穿和数字人发明提供渺小后劲。

该框架可以经过人造言语交互生成对 CG 流程友好的服装模型，并且还便于版片补全和纹理编辑， 经过用户友好的交互简化了设计环节。本文将对 DressCode 的关键配置启动具体引见，并讨论其在实践设计场景中的运行前景。

SewingGPT 框架概述

关于版片生成模块，该论文提出了，这是一个基于 GPT 的自回归模型，用于经过文本揭示生缝纫版片。其首先将缝纫版片参数转换为一系列量化的token，训练了一个 Decoder-only Transformer。并经过在Transformer中融合经常使用文本揭示词的交叉关注力，来到达用文原本疏导生成结果。

训练成功后，该模型可以依据用户条件自回归地生成token序列，并将生成的序列经过反向量化来获取生成的缝纫版片参数。

DressCode 框架概述

借助 SewingGPT，该框架能够间接从文本揭示中生成多样化的缝纫版片。因为材质贴图在 CG 流程中十分关键，该框架为这些版片生成相应的基于物理的纹理，更严密地与服装设计上班流程相契合。

作者们提出的DressCode框架，经过应用 SewingGPT 和 PBR 纹理生成器来生成3D服装的几何局部与纹理局部，并且进一步应用大型言语模型经过人造言语交互为用户创立定制服装。

在成功经过文本揭示生成缝纫版片和纹理之后，为了在实践场景中使设计师能够经常使用人造言语与生成器交互，而不是依赖于数据集格局的揭示，作者们驳回 GPT-4 启动内容学习，以解释用户的人造言语输入，生成几何揭示词和纹理揭示词。

这些揭示词输入到 SewingGPT 和 PBR 纹理生成器后，获取生成的缝纫版片与纹理，并经过仿真、渲染获取最终的结果。同时，生成的服装以及 PBR 纹理可以被无缝整合到工业软件中，可以与人体模型进执行画驱动，并在各种照明下启动渲染，确保活泼、真切的效果。

版片补全才干

得益于自回归模型，SewingGPT可以经过应用模型提供的概率预测，在接纳到局部版片消息后补全整个缝纫版片。此外，输入一个文本揭示可以指点模型补全缝纫版片。如给定一个袖子后， 该模型能够依据不同的揭示补全成功各种缝纫版片。这使得用户能够手动设计局部版片，应用 SewingGPT 启动灵感谢发并基于文本揭示来补全服装。

纹理编辑才干

在近期大多 3D 生成义务中，不可发生结构化的 UV 映射是对实践运行场景一个严重阻碍，尤其是在生成服装时，使其不可用于实践设计场景。本文提出的生成方法，应用缝纫版片示意，使得能够创立每个版片共同且结构化的 UV 映射。这也促经常使用户可以在特定位置方便得编辑纹理，允许对纹理贴图启动高效的后处置。

运行和展望

DressCode 框架在与其余方法比拟中取得了优秀的效果，该框架作为第一个基于缝纫版片的服装生成上班，能够让初学者和专业设计师都能经过方便的文本揭示生成高品质的缝纫版片和 PBR 纹理，使服装设计流程大幅方便化。

DressCode 的易用性和翻新方法有望推进数字服装的未来开展。这类以缝纫版片为基础的生成义务，将推进虚构试穿、时兴设计和数字人发明的数字服装畛域的开展，让咱们共等同待。

原文链接:​ ​​ ​