30秒生成建模师级Mesh！最大可生成面数优化至1600 GitHub揽星1.9k名目颁布V2版本

只有 30秒 ，AI就能像3D建模师一样，在各种批示下生成高品质天然Mesh。

NeRF、3D Gaussian Splatting生成的三维重建图像Mesh成果如下：

点云造出精细Mesh：

Dense Mesh基础上生成也可以：

一张图，甚至文本形容就足够了：

GitHub已揽星1.9k的 MeshAnything 名目上新了V2版本，由来自南洋理工大学、清华大学、帝国理工学院、西湖大学等钻研人员成功。

MeshAnything V2相比V1，经常使用了最新提出的 Adjacent Mesh Tokenization （AMT）算法，将最大可生成面数从800优化到了1600。

相比之前的Mesh tokenization方法，AMT平均只有要一半长度的token sequence即可表白同一个Mesh。

这项钻研一经颁布也迅速获取不少网友关注。

那么，MeshAnything终究是一种怎么的方法？MeshAnything V2做了哪些改良？

高度可控的天然Mesh生成

值得留意的是，只管AI很早就能够生成Mesh了，但这与下面所展现的生成天然Mesh有着渺小区别。

团队示意，一切之前方法，例如Marching Cubes和Get3D，生成的Mesh都是面片十分浓密的Mesh，面片数往往是天然Mesh的数百倍，简直无法能运行于游戏，电影等实践3D工业。

并且由于它们的面片结构不合乎人类直觉，3D建模师很难再对其启动粗疏的加工。

如下图所示，这一疑问 没法便捷地依托remesh来处置 ，在不影响成果的前提下，remesh方法只管仅仅能够小幅度地缩小面片：

而上述疑问间接影响了3D钻研运行于工业界。

3D工业界的pipeline简直全以天然Mesh作为3D表征，即使3D钻研畛域能产出精度极高的NeRF或许3D Gaussian，但没法将它们转化为工业界能运行的Mesh的话，运行将十分受限。

因此，之前钻研团队提出了MeshAnything，旨在成功高度可控的天然Mesh生成。

MeshAnything是一个自回归的transformer，其将Mesh的每个面片视作token，整个Mesh被视作token序列，接着像大言语模型一样， 一个token一个token地生成 ，最终生成出整个Mesh。

MeshAnything运用精妙的condition设计，其将点云作为condition来成功高度可控的天然Mesh生成：

MeshAnything以点云为condition的设计让其可以与诸多3D扫描，3D重建，3D生成的方法联合。

这些种类单一的方法最终获取的3D示意只管多样，但总能从中采样到点云，从而输入到MeshAnything中转为天然Mesh，协助这些能输入3D模型的上班运用到实践3D工业中。

另外，这种设计还大大降落了MeshAnything的训练难度，提高了成果。由于点云提供了精细的3D状态消息，MeshAnything不须要去学习复杂的3D状态散布，只有要学习如何搭建出合乎给定点云的天然Mesh。

MeshAnything V2有何优化？

MeshAnything V2在V1版本的基础上大幅度提高了性能，并将最大可生成面数800优化到了1600。

相比之前的Mesh tokenization方法， AMT平均只有要一半长度的token sequence即可表白同一个Mesh 。

由于transformer的计算是n^2复杂度，一半长度的token sequence象征着降落了4倍的attention计算量。并且AMT获取的token sequence愈加紧凑，结构更好，更无利于transformer的学习。

AMT是经过尽或许地仅仅用一个vertex来表白一个一个面片来成功上述提高的：

上图明晰地表白出了AMT的运作环节，其经过优先表白相邻的面片来用1个vertex表白一个面片。当不存在相邻的没表白过的面片，AMT增加一个不凡token “&”来标识这一状况并从新开局。

在AMT的协助下，V2在性能和效率上大幅超越之前的方法，成功了高品质的天然Mesh生成。

在训练数据上，MeshAnything经常使用ShapeNet和Objaverse中的天然Mesh，将这些Mesh倒退成token sequence之后经常使用cross-entropy loss监视。

V1和V2都仅仅经常使用了350m的transformer架构，100K的训练数据就获取了以上结果，标明该方向还有十分大scale up后劲。

更多结果如下：

V2名目主页:

原文链接:​ ​​ ​