文本生成超实在3D模型 浙大 蚂蚁团体推出MaPa

浙江大学、蚂蚁团体、深圳大学联结推出了翻新模型MaPa。

与传统纹理方法不同的是，MaPa经过文天性间接生成高分辨率、物理光照、超实在材质的3D模型，可以极大优化游戏、VR、AR、影视等行业的开发效率。

钻研人员在多个出名平台对MaPa启动了综合测试。结果显示，在无参考图像的状况下MaPa生成的模型材质、分辨率、部分细节，比TEXTure、Text2tex、Fantasia3D等模型的成果更好。

论文地址：

MaPa配置展现

分段图像生成

为了更好地恢复用户的文本揭示和优化模型品质，MaPa在生成的环节中会将3D网格细分为多个粗大的分段。 该环节有点相似将一幅画作分解成多个小碎块，这样每块的细节都能够独立处置，以便于后续上色和材质的精细调整 。

而后，MaPa会将这些3D分段投影到2D空间中生成2D图像。为了取得最佳的2D宰割图像，MaPa须要选用一个适合的视角。

经过平均采样一系列视角，并选用能够发生最多2D分段的视角作为起始视角，以确保生成的2D图像能够尽或者多地捕捉到3D分段的细节。

在2D图像生成中，MaPa经常使用了ControlNet，这是一个预训练的2D分散模型，能够依据给定的条件生成相应的2D图像。钻研人员对ControlNet启动了微调，使其能够顺应特定的分段条件，从而生成与3D分段愈加对齐的2D图像。

3D材质分组

理论在3D模型的材质生成环节中有一个难题，就是该如何将不同的材质部分有效地组织和治理。 而MaPa经过经常使用“材质分组”模块，来智能智能识别和分组相似材质的3D分段，从而优化渲染的品质，同时又缩小了后续的优化流程 。

MaPa经常使用了GPT-4v模型启动材质分类。GPT-4v不只识别准确率高，关于用户的文本语义了解才干也很强，可以精准提炼出文本中的不凡材质。

此外，材质分组还内置了一个材质色彩相似性剖析模块，经过反射率预计网络来评价不同分段的色彩，并在CIE色彩空间中启动比拟。

假设两个分段的材质色彩足够凑近，就会被归为同一组进一步优化材质的分歧性。

材质图优化

对材质分好组之后，MaPa会从一个预建的材质图库中检索最相似的材质图作为初始值，再经过可微渲染模块对材质图的参数启动优化,使得渲染图像尽或者凑近生成的3D模型。

在渲染的环节中MaPa经常使用了DiffMat v2框架，能够将材质图转换为纹理空间映射，例如，反照率图、法线图和毛糙度图等，使得选定的材质图参数使其更贴近生成的3D模型。

材质图优化模块还包含一个可微分渲染器， 能够依据材质图渲染出2D图像，并与生成的3D模型启动比拟，经过最小化两者之间的差异来优化材质图参数 。这种方法不只提高了材质的实在感，还坚持了渲染的效率。

因为3D模型的架构比拟复杂，一次性难以生成精准生成。所以，MaPa经常使用了延续迭代的方法，可认为模型的每个部分生成分歧且实在的材质，即使是那些十分复杂的3D模型架构也没疑问。

原文链接:​ ​​ ​