Stability.ai开源3D模型，仅需0.5秒就能快速生成

专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！

著名开源大模型平台Stability.ai开源了3D生成模型——Stable Fast 3D（以下简称“SF3D”）。

用户通过图片仅需0.5秒就能快速生成高质量3D模型，还包括UV展开网格、材质参数、具有减少照明烘焙的反照率颜色，以及可选的四边形或三角形重网格等，这也是目前最快的3D生成模型。

开源地址：https://github.com/Stability-AI/stable-fast-3d

huggingface：https://huggingface.co/stabilityai/stable-fast-3d

在传统的3D重建模型中，变换器通常输出较低分辨率的Triplane表示，这会导致在高频和高对比度纹理场景中出现明显的混叠伪影，在实际应用中效果较差需要频繁的手动处理才能使用。

而SF3D是基于TripoSR架构，通过引入多个新模块来改进输出质量。增强的Transformer网络预测更高分辨率的三平面，有助于减少混叠伪影。该网络从DINO切换到改进的DINOv2以获取图像标记，低分辨率（64×64）的三平面会引入明显伪影，而通过提高分辨率可以缓解这一问题。

还受PointInfinity的启发，增强的Transformer网络输出更高分辨率的三平面，例如，通过避免在更高分辨率三平面标记上的自注意力，使复杂度与输入大小呈线性关系，从而产生96×96分辨率、1024通道的三平面，进一步通过打乱输出特征的维度。

为了增强反射对象的输出网格外观，在渲染时生成更好的模型材质，SF3D通过 “Material Net”的网络来实现这一点，该网络从输入图像中预测整个物体的单一金属和粗糙度值。

为了稳定训练并防止直接回归时的网络崩溃，SF3D采用了一种概率预测方法，预测Beta分布的参数，并通过最小化对数似然来训练网络。

SF3D还引入了“Light Net”的网络来预测输入图像中的光照，从而解决因光照变化（如阴影）导致的问题。

Light Net通过使用从变换器得到的高分辨率Triplane来预测球形高斯照明图。这种巧妙设计允许SF3D在渲染时考虑到3D空间关系和物体表面的照明变化，从而生成没有混入光照效果的均匀物体。

SF3D使用了一种光照解耦损失函数，确保学习到的照明与训练数据中观察到的照明条件一致，从而解决了外观和阴影之间的歧义。

为了全面评估SF3D的性能，研究人员选择了GSO和OmniObject3D作为主要的数据集。这些数据集包含了多种类型的3D对象，能够充分测试SF3D在不同场景下的表现。为了确保测试的公正性和可比性，所有比较方法都在相同的硬件环境下运行。

并将SF3D与OpenLRM、TripoSR、LGM、CRM、InstantMesh和ZeroShape知名3D模型进行了综合对比。结果显示，SF3D优于当前主流3D模型，能够重建准确的形状产生更详细的纹理，并且视觉质量更高。

本文素材来源Stability.ai官网，如有侵权请联系删除

END

本篇文章来源于微信公众号: AIGC开放社区