WAIC2023｜“书生·天际”发布：用照片就能生成城市级三维实景

(资料图片)

7月6日，2023世界人工智能大会（WAIC 2023）在徐汇西岸隆重开幕。在开幕式现场，多项人工智能产品的展示引人注目。其中，上海人工智能实验室与商汤科技联合香港中文大学、复旦大学、上海交通大学及清华大学发布全新升级的书生·天际模型让人眼前一亮。

现场屏幕上正在演示的是一个三维城市场景，技术人员通过摇杆操控不同角度和距离来展现城市的外观。看似平平无奇，但这个三维场景并不是采用传统的方式建模，而是人工智能模型通过一张张图像演算出来的。这就是在2023世界人工智能大会开幕式上发布的全球首个城市级NeRF实景三维大模型“书生·天际”。它可以以4K级图像精度准确呈现大规模三维城市场景。

“理论上在更多的照片更多的数据集的情况下，我们可以无限制地去还原整个地球。”上海人工智能实验室联合团队表示，“现在整个这块区域都是实时操作、实时渲染的，不是之前就已经固定好的模式，我们是通过这个手柄去操作，向我们后端传输一些指标信息，然后后端实时计算出一张图片，来达到实时穿梭的效果。这种方式对比传统方式来说，整个模型可以更高效、人力成本会更低。比如就这块区域来说，我们可能只要一天，就可以渲染出整个模型，但是用传统的方式，这2000张照片我们可能要花1—2周的时间。”

在重构出来的三维实景中，不仅具备包括移除、移动和新建城市建筑等城市布局的调整能力，还可以“上帝视角”调节光照、季节等城市风格。实现了“城市编辑”功能。未来有很大的应用空间。

上海人工智能实验室联合团队表示，这项技术可以应用在城市规划方面，比如说要对一块区域去新建一座学校或者规划去建一座医院，可以把构建的这个模型，投射到这个三维空间里面去，围绕三维学校或者医院去看一圈的话，会获得不一样的观感。

未来，上海AI实验室将对书生·天际的建模范围和功能进行扩展，并对书生·天际的算法、算子和系统全部进行开源。