从文本生成3D服装板片 影眸联结提出DressCode 上科大

  • 电脑网络维修
  • 2024-11-15
  • 182

3D生成是生成式人工智能和计算机图形学畛域最有目共睹的话题之一,合乎影视、游戏规范的3D生成尤其受产业界关注。在消费流程中,普通品类的3D资产往往经过手工建模或许扫描的模式制造。但作为3D资产的一个关键类别,服装资产的往往起源于平面板片与物理模拟等流程,而不是间接在3D上建模。

上海科技大学、影眸科技与宾夕法尼亚大学联结提出DressCode,它是首个齐全允许 CG 操作,能够兼容到工业流程的 3D 服装生成框架,并经过文本的疏导,成功智能生成具备高品质渲染效果、可编辑、可驱动、可仿真的 3D 服装。

Dresscode曾经被计算机图形畛域国内顶级期刊 Transactions on Graphics 接纳,并将在 国内计算机图形顶级会议 SIGGRAPH 2024 上展现。

引言

服装在人类外观中表演着关键角色,这突显了服装数字化关于数字人发明的关键性。近期在 3D 内容发明畛域的渺小停顿关于数字人的发明至关关键。

但是,关于服装生成的上班仍有空缺,因为通用生成方法生成的网格或神经场与实践数字服装消费流程不兼容,使这类方法间接运行于服装类别并未能到达很好的效果。

为了处置这些疑问,来自影眸科技与上海科技大学的研发团队提出了一个文本驱动的 3D 服装生成框架——DressCode,旨在为初学者设计数字服装方便化,并在时兴设计、虚构试穿和数字人发明提供渺小后劲。

该框架可以经过人造言语交互生成对 CG 流程友好的服装模型,并且还便于版片补全和纹理编辑, 经过用户友好的交互简化了设计环节。本文将对 DressCode 的关键配置启动具体引见,并讨论其在实践设计场景中的运行前景。

SewingGPT 框架概述

关于版片生成模块,该论文提出了,这是一个基于 GPT 的自回归模型,用于经过文本揭示生缝纫版片。其首先将缝纫版片参数转换为一系列量化的token,训练了一个 Decoder-only Transformer。并经过在Transformer中融合经常使用文本揭示词的交叉关注力,来到达用文原本疏导生成结果。

训练成功后,该模型可以依据用户条件自回归地生成token序列,并将生成的序列经过反向量化来获取生成的缝纫版片参数。

DressCode 框架概述

借助 SewingGPT,该框架能够间接从文本揭示中生成多样化的缝纫版片。因为材质贴图在 CG 流程中十分关键,该框架为这些版片生成相应的基于物理的纹理,更严密地与服装设计上班流程相契合。

作者们提出的DressCode框架,经过应用 SewingGPT 和 PBR 纹理生成器来生成3D服装的几何局部与纹理局部,并且进一步应用大型言语模型经过人造言语交互为用户创立定制服装。

在成功经过文本揭示生成缝纫版片和纹理之后,为了在实践场景中使设计师能够经常使用人造言语与生成器交互,而不是依赖于数据集格局的揭示,作者们驳回 GPT-4 启动内容学习,以解释用户的人造言语输入,生成几何揭示词和纹理揭示词。

这些揭示词输入到 SewingGPT 和 PBR 纹理生成器后,获取生成的缝纫版片与纹理,并经过仿真、渲染获取最终的结果。同时,生成的服装以及 PBR 纹理可以被无缝整合到工业软件中,可以与人体模型进执行画驱动,并在各种照明下启动渲染,确保活泼、真切的效果。

版片补全才干

得益于自回归模型,SewingGPT可以经过应用模型提供的概率预测,在接纳到局部版片消息后补全整个缝纫版片。此外,输入一个文本揭示可以指点模型补全缝纫版片。如给定一个袖子后, 该模型能够依据不同的揭示补全成功各种缝纫版片。这使得用户能够手动设计局部版片,应用 SewingGPT 启动灵感谢发并基于文本揭示来补全服装。

纹理编辑才干

在近期大多 3D 生成义务中,不可发生结构化的 UV 映射是对实践运行场景一个严重阻碍,尤其是在生成服装时,使其不可用于实践设计场景。本文提出的生成方法,应用缝纫版片示意,使得能够创立每个版片共同且结构化的 UV 映射。这也促经常使用户可以在特定位置方便得编辑纹理,允许对纹理贴图启动高效的后处置。

运行和展望

DressCode 框架在与其余方法比拟中取得了优秀的效果,该框架作为第一个基于缝纫版片的服装生成上班,能够让初学者和专业设计师都能经过方便的文本揭示生成高品质的缝纫版片和 PBR 纹理,使服装设计流程大幅方便化。

DressCode 的易用性和翻新方法有望推进数字服装的未来开展。这类以缝纫版片为基础的生成义务,将推进虚构试穿、时兴设计和数字人发明的数字服装畛域的开展,让咱们共等同待。

原文链接:​ ​​ ​

  • 关注微信

本网站的文章部分内容可能来源于网络和网友发布,仅供大家学习与参考,如有侵权,请联系站长进行删除处理,不代表本网站立场,转载联系作者并注明出处:https://duobeib.com/diannaowangluoweixiu/5882.html

猜你喜欢

热门标签

洗手盆如何疏浚梗塞 洗手盆为何梗塞 iPhone提价霸占4G市场等于原价8折 明码箱怎样设置明码锁 苏泊尔电饭锅保修多久 长城画龙G8253YN彩电输入指令画面变暗疑问检修 彩星彩电解除童锁方法大全 三星笔记本培修点上海 液晶显示器花屏培修视频 燃气热水器不热水要素 热水器不上班经常出现3种处置方法 无氟空调跟有氟空调有什么区别 norltz燃气热水器售后电话 大连站和大连北站哪个离周水子机场近 热水器显示屏亮显示温度不加热 铁猫牌保险箱高效开锁技巧 科技助力安保无忧 创维8R80 汽修 a1265和c3182是什么管 为什么电热水器不能即热 标致空调为什么不冷 神舟培修笔记本培修 dell1420内存更新 青岛自来水公司培修热线电话 包头美的洗衣机全国各市售后服务预定热线号码2024年修缮点降级 创维42k08rd更新 空调为什么运转异响 热水器为何会漏水 该如何处置 什么是可以自己处置的 重庆华帝售后电话 波轮洗衣机荡涤价格 鼎新热水器 留意了!不是水平疑问! 马桶产生了这5个现象 方便 极速 邢台空调移机电话上门服务 扬子空调缺点代码e4是什么疑问 宏基4736zG可以装置W11吗 奥克斯空调培修官方 为什么突然空调滴水很多 乐视s40air刷机包 未联络视的提高方向 官网培修 格力空调售后电话 皇明太阳能电话 看尚X55液晶电视进入工厂形式和软件更新方法 燃气热水器缺点代码

热门资讯

关注我们

微信公众号