近日，闻明 AI 学者、斯坦福大学证据李飞飞团队 WorldLabs 推出首个「空间智能」模子，仅输入单张图片开yun体育网，即可生成一个传神的 3D 寰球，这被以为是迈向空间智能的第一步。

简直同期，国内智源谈论院推出了首个阁下大鸿沟无标注的互联网视频学习的 3D 生成模子See3D— See Video, Get 3D。

△See3D 营救从文本、单视图和寥落视图到 3D 的生成，同期还可营救 3D 裁剪与高斯渲染

不同于传统依赖相机参数（pose-condition）的 3D 生成模子，See3D 选定全新的视觉条款（visual-condition）时间，仅依赖视频中的视觉陈迹，生成相机地点可控且几何一致的多视角图像。

这一法子不依赖于容许的 3D 或相机标注，概况高效地从千般化、易获取的互联网视频中学习 3D 先验。

See3D 不仅营救零样本和灵通寰球的 3D 生成，还无需微调即可施行 3D 裁剪、名义重建等任务，展现出在多种 3D 创作应用中的庸俗适用性。

干系的模子、代码、Demo 均已开源，更多时间细节请参考 See3D 论文。

论文地址 :

https://arxiv.org/abs/2412.06699

口头地址 :

https://vision.baai.ac.cn/see3d

着力展示

1. 解锁 3D 互动寰球：输入图片，生成千里浸式可交互 3D 场景，及时探索果真空间结构。

‍

（备注：为了收场子时交互式渲染，面前对 3D 模子和渲染过程进行了简化，离线渲染果真着力更佳。）

‍

‍△及时 3D 交互

‍

2. 基于寥落图片的 3D 重建：输入寥落的 ( 3-6 张 ) 图片，模子可生成一个邃密化的 3D 场景。

△基于 6 张视图的 3D 重建

△基于 3 张视图的 3D 重建

3.   灵通寰球 3D 生成：凭据文本教唆，生成一副艺术化的图片，基于此图片，模子可生成一个捏造化的 3D 场景。

△灵通寰球 3D 生成样例

4. 基于单视图的 3D 生成：输入一张果真场景图片，模子可生成一个传神的 3D 场景。

△基于单张图片的 3D 生成谈论动机

3D 数据具有圆善的几何结构和相机信息，概况提供丰富的多视角信息，是测验 3D 模子最径直的采纳。关联词，现存法子经常依赖东说念主工瞎想（designed artists）、立体匹配（stereo matching）或通顺规复结构（Structure from Motion, SfM）等时间来集聚这些数据。

尽管经过多年发展，面前 3D 数据的蕴蓄鸿沟已经有限，举例 DLV3D ( 0.01M ) 、RealEstate10K ( 0.08M ) 、MVImgNet ( 0.22M ) 和 Objaverse ( 0.8M ) 。这些数据的集聚过程不仅耗时且资本容许，还可能难以实施，导致其数据鸿沟难以推广，无法得志大鸿沟应用的需求。

与此不同，东说念主类视觉系统无需依赖特定的 3D 表征，仅通过联络多视角的不雅察即可迷惑对 3D 寰球的默契。单帧图像难以收场这少许，而视频因其自然包含多视角干系性和相机通顺信息，具备揭示 3D 结构的后劲。

更贫瘠的是，视频源泉庸俗且易于获取，具有高度的可推广性。基于此，See3D 提议" SeeVideo,Get3D "的理念，旨在通过视频中的多视图信息，让模子像东说念主类相通，学习并推理物理寰球的三维结构，而非径直建模其几何形态。

法子先容

为了收场可推广的 3D 生成，See3D 提供了一套系统化的科罚决策，具体包括：

1）数据集：团队提议了一个视频数据筛选经由，自动去除源视频中多视角不一致或不雅察视角不充分的视频，构建了一个高质地、千般化的大鸿沟多视角图像数据集 WebVi3D。该数据集涵盖来自 1600 万个视频片断的 3.2 亿帧图像，可通过自动化经由随互联网视频量的增长而束缚引申。

△WebVi3D 数据集样本展示

2）模子：标注大鸿沟视频数据的相机信息资本极高，且在清寒显式 3D 几何或相机标注的情况下，从视频中学习通用 3D 先验是更具挑战的任务。为科罚这一问题，See3D 引入了一种新的视觉条款——通过向掩码视频数据添加时刻依赖噪声，生成一种贞洁的 2D 归纳视觉信号。这一视觉信号营救可推广的多视图扩散模子（MVD）测验，幸免对相机条款的依赖，收场了"仅通过视觉取得 3D "的缱绻，绕过高出意的 3D 标注。

△See3D 法子展示

3）3D 生成框架：See3D 学到的 3D 先验概况使一系列 3D 创作应用成为可能，包括基于单视图的 3D 生成、寥落视图重建以及灵通寰球场景中的 3D 裁剪等，营救在物体级与场景级复杂相机轨迹下的长序列视图的生成。

△基于 See3D 的多视图生成

上风

a ) 数据推广性：模子的测验数据源自海量互联网视频，相较于传统 3D 数据集，构建的多视图数据集 ( 16M ) 在鸿沟上收场了数目级的擢升。跟着互联网的抓续发展，该数据集可抓续引申，进一步增强模子才略的袒护范围。

b ) 相机可控性：模子可营救在职意复杂的相机轨迹下的场景生成，既不错收场场景级别的漫游，也能聚焦于场景内特定的物体细节，提供生动千般的视角操控才略。

c ) 几何一致性：模子可营救长序列新视角的生成，保抓前后帧视图的几何一致性，并罢职果真三维几何的物理依次。即使视角轨迹发生变化，复返时场景已经保抓高传神和一致性。

回来

通过扩大数据集鸿沟，See3D 为松弛 3D 生成的时间瓶颈提供了新的想路，所学习到的 3D 先验为一系列 3D 创作应用提供了营救。但愿这项职责概况激勉 3D 谈论社区对大鸿沟无相机标注数据的关切，幸免容许的 3D 数据集聚资本，同期收缩与现存庞大闭源 3D 科罚决策之间的差距。

* 本文系量子位获授权刊载，不雅点仅为作家通盘。

—  完  —

量子位  QbitAI

վ ' ᴗ ' ի 跟踪 AI 时间和家具新动态

一键三连「共享」、「点赞」和「在看」

科技前沿推崇日日再会 ~