近年来，随着我国“数字城市”向“智慧城市”的不断转型升级，以二维矢量数据为主的 GIS 应用已经难以满足当前的需求，一种所见即所得、更加直观的城市三维实景模型逐渐成为大众热衷的表达方式。
因此，如何快速构建城市三维实景模型成为当前 GIS 应用领域研究的热点问题。
在构建城市三维实景模型技术方案中，目前已有城市数据集将所有建筑物视为单一类别，但在当前城市结构布局复杂、建筑风格多样的多种环境下，相关技术难以满足大规模复杂城市的三维建模与发展规划的需求。
▼
星图地球联合中国科学院空天信息创新研究院赛博智能团队、德国宇航中心、德国慕尼黑联邦国防军大学提出了新的解决方案，即：构建建筑物实例分割基准数据集为城市建筑物群三维构建技术研究与应用提供重要支撑。
新的解决方案构建的城市建筑物结构功能细粒度分类数据集（UBC），是目前国际上首个结构精细化标注、功能细粒度分类的大规模城市建筑群数据集，同时具备多模态、国产首发等特色。
* 该数据集论文已被 2022 年 CVPR EarthVision 录用为报告，并在赛博智能github 社区开源，网址 https://github.com/AICyberTeam/UBC-dataset。
基于 UBC 数据集，团队在前期研究成果的基础上持续优化，形成了基于单幅遥感影像的建筑物三维模型自动构建核心技术，无需 DSM 数据、仅利用单幅光学卫星影像即可完成建筑物三维模型构建，在国际公开数据集上多项指标达到先进水平。
▼
在实景三维城市、数字孪生城市、新型智慧城市建设如火如荼的当下，建筑物的提取与建模对城市规划管理、城市形象展示等具有重要作用，为构建数字孪生、打造三维数字地球提供基础资源支撑。
星图地球与赛博智能通力合作，在数字地球上完成合肥市 1600 平方公里大规模建筑群三维模型建设，平均每百平方公里耗时 1.5 小时，大幅缩短构建时间。新技术的诞生让城市建筑群三维模型建设得以更快呈现在数字地球系统上，为政企单位、行业开发者提供更高效的服务，新技术从学术研究向落地应用实现无缝衔接和转换。
论文信息
Xingliang Huang, Libo Ren, Xian Sun, et al. "Urban Building Classification (UBC) – A Dataset for Individual Building Detection and Classification from Satellite Imagery". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2022.(已接收)
图 1 数据集标注切片示例
图2 城市3D模型示例
01 细粒度建筑物实例分割数据集
城市建筑物结构功能细粒度分类数据集（UBC），是目前国际上首个结构精细化标注、功能细粒度分类的大规模城市建筑群数据集，同时具备多模态、国产化等特色。数据集涵盖全球6大洲21座城市，目前已发布中国北京、德国慕尼黑两座城市，针对建筑物结构和建筑物功能分别提供粗-细两级的61个类别，影像类型覆盖可见光、红外与SAR三种模态，并且所有影像均来自国产卫星。
表1 目前常见遥感建筑物数据集比较
1.1
建筑物结构精细化标注
针对建筑物屋顶几何结构的特性，数据集定义了两级结构分类体系，包含平顶、三角屋顶、四面坡屋顶等9大类、25个子类的屋顶类型，典型的建筑物屋顶类型示例如下图所示。
图3 典型屋顶类型示例1
图3 典型屋顶类型示例1
1.2
建筑物功能细粒度分类
针对建筑物社会功能属性，数据集定义了两级功能分类体系，包含5类粗粒度的功能类型：住宅建筑、商业建筑、工业建筑、共用建筑和其它类别，以及36个精细类别，典型的建筑物功能类型示例如下图所示。
图5 典型功能类型示例1
图6 典型功能类型示例2
1.3
多模态与国产化
目前数据集覆盖光学、红外和SAR三种模态数据，并且所有卫星影像均来自高分二号、高分三号和高景卫星等国产卫星。高分二号和高景卫星提供彩色合成影像和近红外波段的影像，高分三号提供C频段多极化SAR影像。
图7 RGB、近红外、SAR三种模态切片示例
1.4
严格的质量管理规范
数据集的制作采用半自动标注方式，并严格遵守管理规范，同时兼顾效率与质量。为保证标注效率，标注过程基于OpenStreetMap(OSM)建筑物轮廓信息和谷歌地图的地理标签信息进行半自动标注，并经过人工二次校验确保数据集质量。
02 核心技术
面向大规模城市建筑物三维模型的构建需求，团队自主研发了基于多任务辅助学习的多模态联合学习框架（HECR-Net），在此基础上形成基于单幅遥感影像的建筑物三维模型自动构建技术，无需DSM数据、仅使用单幅卫星遥感影像，即可实现大规模建筑物三维模型的快速构建，并在两个国际公开数据集ISPRS Vaihingen和Potsdam上均达到国际领先水平。
表2 HECR-Net在VAIHINGEN测试集的实验结果
表3 HECR-Net在POSTDAM测试集的实验结果
2.1
建筑物结构精细化标注
建筑物三维模型构建方法，基于团队自主研发的基于多任务辅助学习的多模态联合学习框架中的建筑物提取与DSM预测模块进行建筑物多边形提取并估计建筑物高程信息，在此基础上生成建筑物三维模型。主要流程如下：
图8 技术流程
2.2
多任务学习约束下的遥感图像建筑物
提取与DSM预测网络
针对现有方法仅利用图像逐像素掩膜和DSM作为监督信息，缺乏来自于不同任务的信息互促的问题，团队提出了一种基于多任务学习的建筑物提取与DSM预测的方法，关联分割语义和估计高度，解决从单目遥感图像中进行建筑物的分割与高度的估计问题。
主要创新点有:
a) 多任务神经网络：设计多任务网络输出建筑物提取结果与DSM预测结果。
b) 解决多任务语义歧义：利用提出的跨任务传播模块在跨任务的公共位置构建和扩散局部模式图谱，显式地桥接两个任务，有效地解决由相似光谱特征引起的语义歧义。
c) 动态任务权衡：针对多任务梯度差异大导致网络难以优化的困难问题，引入动态加权几何平均策略来动态学习每个任务的权重，保证优化稳定性。
图9 多任务建筑物DSM预测网络
2.3
三维模型生成
三维模型生成算法由建筑物高程提取、建筑物底面共面编组、建筑物平面聚合和建筑物三维结构重构四个步骤组成。每个建筑物多边形结合提取的高程用于执行高度提升，实现建筑物立体结构的重构。生成的3D模型基于输入多边形进行语义分解/标记，一起形成一个（多个）表面，实现无自相交、无间隙的构建。
03 示范应用
中科院空天信息创新研究院与星图地球通力合作，基于赛博智能团队自主研发的建筑物三维模型自动构建技术，无需DSM数据、仅利用单幅光学卫星影像在数字地球上完成合肥市1600平方公里大规模建筑群DSM预测、建筑物轮廓精细化提取与三维模型建设。
测试结果表明， DSM预测均方误差小于25%，建筑物提取精度mAP达到81%，每100平方公里的平均耗时1.5小时（计算资源：NVIDIA GeForce RTX 3090显卡）。
图10 合肥大场景数据输入输出示例
3.1
建筑物结构精细化标注
基于单幅卫星影像的大规模城市建筑群三维重建效果展示如下（红色——建筑顶部，白色——建筑侧面）。
图11 不同视角、高低错落、稀疏稠密
形状各异的建筑群重建效果
图12 大规模城市建筑群三维模型构建效果
3.2
DSM预测
基于单幅卫星影像的大规模城市建筑群DSM预测效果展示如下，匹配精准，高低分明。
图13 光学影像（左）和DSM预测结果（右）
图14大规模城市建筑群DSM预测，密集区分度高，灰度明暗表征建筑高低
3.3
建筑物提取
基于单幅卫星影像的大规模城市建筑群顶部提取效果展示如下，建筑物顶部提取算法可适应形状各异、稀疏稠密的场景。
图15 建筑物提取结果
图16 基于单幅卫星影像的大规模城市建筑群顶部提取效果图
04 总结展望
星图地球联合赛博智能、德国宇航中心、德国慕尼黑联邦国防军大学，构建的城市建筑物结构功能细粒度分类数据集（UBC），是目前国际上首个结构精细化标注、功能细粒度分类的大规模城市建筑群数据集，同时具备多模态、国产化等特色。
基于该数据集，团队提出基于单幅遥感影像的建筑物三维模型自动构建核心技术，并与星图地球通力合作，在数字地球上完成合肥市1600平方公里大规模建筑群三维模型快速构建。
未来，星图地球将从三方面继续深化与中科院空天院赛博智能团队的合作：
（1）数据集全球化：将UBC数据集扩展到全球范围，覆盖6大洲21个典型城市，增强数据集中建筑风格多样性，提升建筑物三维模型自动构建技术的泛化能力；
（2）大场景真实化：研究神经辐射场等前沿技术，以合肥地区为示范，为大规模场景的三维模型按需做结构纹理精细渲染，提升场景逼真度和和用户体验。
（3）建筑群风格化：依靠全球化遥感影像和建筑群重建渲染核心技术，打造国产化实景三维数字地球，服务各行各业，同时为元宇宙的愿景提供沉浸式场景空间。
参考文献：
[1] Liu W, Sun X, Zhang W, et al. Associatively Segmenting Semantics and Estimating Height from monocular Remote-sensing Imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022.
[2] Mao Y, Chen K, Diao W, et al. Beyond single receptive field: A receptive field fusion-and-stratification network for airborne laser scanning point cloud classification[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 188: 45-61.
[3] Shermeyer J, Hogan D, Brown J, et al. SpaceNet 6: Multi-sensor all weather mapping dataset[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops. 2020: 196-197.
