AI|像谷歌地球一样用卫星图片重建洛杉矶3D模型港中大团队提出CityNeRF( 二 )_像谷歌地球一样用卫星图片重

文章图片

总体来说，CityNeRF是一种渐进式学习范式，可同步增长NeRF模型和训练集。从用浅基块拟合远景开始，随着训练的进行，添加新的块以适应越来越近的视图中出现的细节。
该策略有效地激活了位置编码中的高频通道，并随着训练的进行展开更复杂的细节。
简而言之，使用基本神经网络多层感知器的权重，NeRF将提前处理所有图像，知道其观点位置。NeRF将使用相机的光线找到每个像素的颜色和密度。
因此，它知道相机的方向，并可以同时使用所有数组来了解深度和相应的颜色。然后，使用损失函数优化了神经网络的收敛性，
模型训练数据数据来自Google Earth Studio中的12个城市图像。结果显示在几种常见重建模型中达到了最佳的效果。

文章图片

最后，作者又将该模型用于重建无人机拍摄的空中图像，依然收到了更佳的效果。

文章图片

团队简介
本篇论文的两位一作是来自香港中文大学MMLab的两位博士生相里元博和徐霖宁。前者曾有一篇论文被ICLR 2020收录，后者有多篇论文被CVPR、ICCV等顶会收录。

文章图片

通讯作者是以上两位的导师林达华。

文章图片

林达华是香港中文大学信息工程系副教授，也是港中大-商汤科技联合实验室主任。
论文地址：
https://arxiv.org/abs/2112.05504

项目地址：
https://city-super.github.io/citynerf/