在刚刚结束的 CES 展会上,Stability AI 宣布推出一种名为 SPAR3D(Stable Point Aware3D)的创新方法,这种两阶段的3D 生成技术能够在不到一秒的时间内,从单个图像中生成精确的3D 对象。该技术的推出为游戏开发者、产品设计师和环境构建者提供了全新的3D 原型设计方式。

image

SPAR3D 的独特之处在于,它能够分别建模可见部分和不可见部分。在生成3D 对象时,该方法提供了准确的几何形状及完整的360度视图,包括物体背面的细节。用户还可以通过实时编辑功能,对生成的3D 对象进行直接修改,如删除、复制、拉伸和重新着色点云,大大提高了操作的灵活性和创意空间。

image

SPAR3D 的工作流程可以分为两个阶段。第一阶段采用轻量级点扩散模型生成稀疏的3D 点云,样本提取速度极快;第二阶段则利用这些点云和输入图像来构建高细节的网格模型。这样的设计不仅提高了计算效率,还保证了输出质量,克服了传统单图像3D 重建方法的局限。

在性能测试中,SPAR3D 在 GSO 和 Omniobject3D 数据集上表现出色,优于现有的多种最先进的算法。研究团队通过多项实验验证了该技术的有效性,尤其是在处理图像遮挡和细节重建方面的优势。SPAR3D 采用显式的点云作为中间表示,使得用户能够对3D 模型进行进一步编辑,提升了用户体验。

SPAR3D功能总结主要有以下几点:

实时生成能力

快速生成:能够从单张图像中生成完整的3D 对象结构,生成时间不足一秒。

高效编辑 :编辑后的点云转换为最终网格的速度仅为0.3秒。

先进的编辑功能

点云编辑 :用户可直接对点云进行操作,包括删除、复制、拉伸和添加特征。

重新着色 :提供对3D 模型颜色的调整功能,增强创作灵活性。

精确的结构预测

完整结构预测 :能够提供准确的几何形状和详细的360度视图预测,包括隐藏区域。

高分辨率输出 :通过三平面变换器生成高分辨率的三平面数据,捕捉图像的纹理和光照。

开放的使用政策

广泛的应用许可 :支持商业和非商业用途,用户可在多个平台上获取和使用该模型。

开发者友好 :可通过 Hugging Face 下载权重,获取代码在 GitHub 上使用,或通过 API 访问。

官方介绍:https://stability.ai/news/stable-point-aware-3d

划重点:

🌟 SPAR3D 能够在一秒内从单张图像生成精确的3D 对象,并支持实时编辑功能。

🔍 该技术采用两阶段的方法,分别生成点云和高细节网格,提高了计算效率和输出质量。

🚀 SPAR3D 在多个数据集上优于现有的3D 重建算法,展示了出色的性能与用户编辑能力。