机器之心报道。
机器之心编辑部
连续「**下一个 token」能生成句子，同理，连续「**下一个三角形网格」也能生成 3d 模型。在计算机图形学中，「三角形网格」是 3d 几何物体的主要表现形式，也是游戏、电影和 vr 界面中主要使用的 3d 资产表示方法。业界通常基于三角形网格来模拟复杂物体的表面，如建筑、车辆、动物，常见的几何变换、几何检测、渲染着色等动作，也需要基于三角形网格进行。
与点云或体素等其他 3d 形状表示法相比，三角形网格提供了更连贯的表面表示法：更可控、更易操作、更紧凑，可直接用于现代渲染流水线，以更少的基元获得更高的视觉质量。
此前，已有研究者尝试过使用体素、点云和神经场等表示方法生成 3d 模型，这些表示也需要通过后处理转换成网格以在下游应用中使用，例如使用 marching cubes 算法进行 iso-surfacing 处理。
遗憾的是，这样做的结果是网格密度过高、网格划分过细，经常出现过度平滑和等值曲面化带来的凹凸不平的错误，如下图所示：
相比之下，3d 建模专业人员建模的 3d 网格在表示上更加紧凑，同时以更少的三角形保持了清晰的细节。
一直以来，很多研究者都希望解决自动生成三角形网格的任务，以进一步简化制作 3d 资产的流程。
在最近的一篇**中，研究者提出了新的解决方案：meshgpt，将网格表示直接生成为一组三角形。
*链接：受语言生成模型 transformer 的启发，他们采用了一种直接序列生成方法，将三角形网格合成为三角形序列。
按照文本生成的范式，研究者首先学习了三角形词汇，三角形被编码为潜在量化嵌入。为了鼓励学习到的三角形嵌入保持局部几何和拓扑特征，研究者采用了图卷积编码器。然后，这些三角形嵌入由 resnet 解码器解码，该解码器将其处理表示三角形的 token 序列，生成三角形的顶点坐标。最终，研究者在所学词汇的基础上训练基于 gpt 的架构，从而自动生成代表网格的三角形序列，并获得了边缘清晰、高保真度的优势。
在 shapenet 数据集上进行的多个类别的实验表明，与现有技术相比，meshgpt 显著提高了生成 3d 网格的质量，形状覆盖率平均提高了 9%，fid 分数提高了 30 个点。
在社交**平台上，meshgpt 也引发了热议：
有人说：「这才是真正革命性的 idea。」
一位网友指出，该方法的亮点在于克服了其他 3d 建模方法的最大障碍，即编辑能力。
有人大胆**，或许每一个自上世纪 90 年代以来尚未解决的难题，都可以从 transformer 中得到启发：
也有从事 3d / 电影制作相关行业的用户对自己的职业生涯表示担忧：
不过，也有人指出，从**给出的生成示例来看，这一方法还未达到大规模落地的阶段，一位专业建模人员完全可以在 5 分钟内制作出这些网格。
这位评论者表示，下一步可能是由 llm 控制 3d 种子的生成，并将图像模型添加到架构的自回归部分。走到这一步后，游戏等场景的 3d 资产制作才能实现大规模的自动化。
接下来，就让我们看看 meshgpt 这篇**的研究细节。
方法概述
受大语言模型进步的启发，研究者开发了一种基于序列的方法，将三角形网格作为三角形序列进行自回归生成。这种方法能生成干净、连贯和紧凑的网格，具有边缘锐利和高保真的特点。
研究者首先从大量的 3d 物体网格中学习几何词汇的嵌入，从而能够对三角形进行编码和解码。然后，根据学习到的嵌入词库，以自回归下索引**的方式训练用于网格生成的 transformer。
为了学习三角形词汇，研究者采用了图形卷积编码器，对网格的三角形及其邻域进行操作，以提取丰富的几何特征，捕捉 3d 形状的复杂细节。这些特征通过残差量化被量化为 codebook 中的 embedding，从而有效减少了网格表示的序列长度。这些内嵌信息在排序后，在重建损失的指导下，由一维 resnet 进行解码。这一阶段为 transformer 的后续训练奠定了基础。
然后，研究者利用这些量化的几何嵌入，训练出一个 gpt 类型的纯解码器 transformer。给定从网格三角形中提取的几何嵌入序列，训练 transformer 来**序列中下一个嵌入的 codebook 索引。
训练完成后，transformer 可以自回归采样，以**嵌入序列，然后对这些嵌入进行解码，生成新颖多样的网格结构，显示出与人类绘制的网格类似的高效、不规则三角形。
meshgpt 采用图卷积编码器处理网格面，利用几何邻域信息捕捉表征 3d 形状复杂细节的强特征，然后利用残差量化方法将这些特征量化成 codebook 嵌入。与简单的向量量化相比，这种方法能确保更好的重建质量。在重建损失的指导下，meshgpt 通过 resnet 对量化后的嵌入进行排序和解码。
该研究使用 transformer 从预先学习的 codebook 词汇中生成网格序列作为 token 索引。在训练过程中，图形编码器会从网格面提取特征，并将其量化为一组面嵌入。这些嵌入会被扁平化，用开始和结束 token 进行标记，然后送入上述 gpt 类型的 transformer。该解码器通过交叉熵损失进行优化，**每个嵌入的后续 codebook 索引。
实验结果
该研究将 meshgpt 与常见的网格生成方法进行了比较实验，包括：
polygen，通过首先生成顶点，然后生成以顶点为条件的面来生成多边形网格；
bspnet，通过凸分解来表征网格；
atlasnet，将 3d 网格表征为多个 2d 平面的变形。
此外，该研究还将 meshgpt 与基于神经场的 sota 方法 get3d 进行了比较。
如图 6、图 7 和表 1 所示，在全部的 4 个类别中，meshgpt 都优于基线方法。meshgpt 可以生成尖锐、紧凑的网格，并具有较精细的几何细节。
具体来说，与 polygen 相比，meshgpt 能生成具有更复杂细节的形状，并且 polygen 在推理过程中更容易积累错误；atlasnet 经常出现折叠瑕疵（folding artifact），导致多样性和形状质量较低；bspnet 使用平面的 bsp 树往往会产生具有不寻常三角测量模式的块状形状；get3d 可生成良好的高层次形状结构，但三角形过多，且平面不完美。
如表 2 所示，该研究还让用户对 meshgpt 生成网格的质量进行了评估，在形状和三角测量质量方面，meshgpt 明显优于 atlasnet、polygen 和 bspnet。与 get3d 相比，大多数用户更喜欢 meshgpt 生成的形状质量（68%）和三角测量质量（73%）。
形状新颖性。如下图 8 所示，meshgpt 能生成超出训练数据集的新奇形状，确保模型不仅仅是检索现有形状。
形状补全。如下图 9 所示，meshgpt 还可以基于给定的局部形状推断出多种可能的补全，生成多种形状假设。
大变革，来了！
原创 韬略哥。近日，国家领导在广东深圳调研，强调要 加强关键核心技术攻关，以科技创新开辟新领域新赛道 塑造高质量发展新动能新优势。说起 核心技术攻关 以 遥遥领先 占领热搜的华为，又官宣一件大事。一个影响时代的大变革，来了！.g时代，遥遥领先 月日，华为发布重大突破 g advanced 通常称为g...
iPhone 14 Pro尺寸 变革之中的微妙差异
在苹果发布的新一代iphone pro中，屏幕尺寸的微妙变化引起了广泛的关注。虽然规格上，iphone pro和iphone pro max看似相同，但这两款手机的屏幕在细节上有着微小的不同。本文将深入分析这些差异，以及它们可能对用户体验产生的影响。.屏幕尺寸的微妙变化 首先，让我们来看看iphon...
数字化变革
乌镇峰会 构建网络空间命运共同体的发展 安全与文明乌镇峰会是世界互联网大会的重要平台，旨在推动构建网络空间命运共同体。总书记在 致辞中提出了发展优先 安危与共 文明互鉴的倡导，这三个关键词将成为未来互联网发展的主要议题。本文将分别从发展 安全和文明三个方面进行 以期读懂世界互联网的昨天 今天与明天。...