36kr
📅 04/15 09:53
AAPL.ONVDA.O
距离新模型Marble 1.1&1.1-Plus发布不到一个周, 李飞飞空间智能独角兽World Labs 再度传来新消息—— 开源3D高斯溅射渲染引擎Spark 2.0 。 我们为3D高斯溅射(3D Gaussian Splatting)打造了可流式传输的LoD系统,重新定义了web 3D渲染的可能性。 Spark 2.0基于Three.js构建,用户可以通过WebGL2, 将包含1亿+spla...
距离新模型Marble 1.1&1.1-Plus发布不到一个周, 李飞飞空间智能独角兽World Labs 再度传来新消息—— 开源3D高斯溅射渲染引擎Spark 2.0 。 我们为3D高斯溅射(3D Gaussian Splatting)打造了可流式传输的LoD系统,重新定义了web 3D渲染的可能性。 Spark 2.0基于Three.js构建,用户可以通过WebGL2, 将包含1亿+splats(3D高斯点/泼溅点)的超大规模3D世界,流式传输到任意设备上 ,包括桌面、iOS、Android、VR。 例如下面的Coit Tower场景由超4000万个splats构成,却能在浏览器中实现完全交互: 在官方Blog中还有更多3D场景可以点开体验: 传统3D建模通过带纹理映射的三角形,一块一块拼出物体的表面。 3D高斯溅射(3D Gaussian Splatting)则采用数百万个半透明椭球体(也就是splats),通过这些椭球体的色彩融合,呈现出超写实的细节效果: 什么是splat? 每一个splat都由位置、XYZ三轴缩放、旋转角度、颜色、不透明度这5个属性定义。 将splat渲染到屏幕上最常见的方法是画家算法(painter’s algorithm)。 就像画画时先画远处的、再画近处的,把几百万个小椭球按从远到近的顺序排好,一层一层叠上去,实时算出最终画面。 这就像是数字版点彩画,只不过用的是3D高斯分布轮廓来作画。 对于这项成果,李飞飞第一时间给到了评论: Spark 2.0现已可在任意设备上流式渲染超1亿splats!能为基于网页的3D高斯溅射渲染开源生态贡献力量,我深感自豪! Spark系统设计 Spark前身是World Labs开发的一款内部3D高斯溅射渲染引擎。 彼时市面上的web渲染引擎均存在明显短板,例如,部分引擎一次只能正确渲染一个3D高斯溅射对象;部分引擎无法不能动态动画化splats;还有些引擎基于小众3D框架开发,或采用尚未普及的WebGPU技术,导致设备兼容性受限。 这款内部渲染引擎曾亮相于团队2024年发布的大型世界模型研究预览,以及早期场景展示项目Lofi Worlds。 为了让更多开发者都能打造交互式3D高斯溅射web体验,团队整合技术积累,在去年开源了一款通用型3D高斯溅射渲染引擎。 当时名字还叫做 Forge ,量子位当时也...