By 超神经
场景描述：复建历史建筑与文物的工作常常需要历时数年，利用 3D 建模、卷积神经网络、对抗生成网络等人工智能技术，能够为重建、修复工作提供指导与参考建议。
关键词：3D 建模 卷积神经网络 对抗生成网络 文物复原
一场猝不及防的大火，让整个法国都陷入悲伤。
「世间好物不坚牢，彩云易散琉璃脆」。历时 180 年建成，至今已 800 多岁的世界瑰宝巴黎圣母院，在法国当地时间 2019 年 4 月 15 日傍晚被大火侵袭。
塔尖在熊熊大火中倒下的那一刻，伴随着多少人的心碎
大火曾烧毁的不止巴黎圣母院
这座充满了艺术气息的文物建筑，躲过了战火的摧残和岁月的侵蚀，却在修缮的时候，被意外的大火毁灭。
文物收藏家马未都先生在微博里感叹
「文物生命只有一次，失去就不会再来。」
据报道，经消防员抢救之后，巴黎圣母院的两个钟楼和正面建筑保持完整，但三分之二的屋顶已被大火损毁。除了标志性的塔尖倒塌，木质屋架也不复存在，而有着「天堂之花」之誉的玫瑰花窗却奇迹般的幸存了下来。
玫瑰花窗，为哥特式建筑的特色之一
大火毁坏历史建筑和文物已经不是第一次。 而每次的修复与重建都是漫漫长征路。巴黎圣母院重建过程预计至少需要 10 年，在此期间，巴黎圣母院将不再对外开放。
在人工智能飞速发展的今天，技术能否帮助我们复原这些世界瑰宝呢？
他用激光扫描记录了数字模型
万幸的是，已故的瓦萨大学( Vassar College )艺术学教授 Andrew Tallon，在其生前完成了对巴黎圣母院的激光扫描工作。
Tallon 采集了多个角度的建筑全景、3D 信息和细节图片。他在大教堂内部和细节特征上进行激光扫描，用三维存档的技术，精确（1-2mm 精度）快速地（每秒测量数十万个点）获取了建筑的空间立体信息，构建了一个完整的数字模型。
他在 2014 – 2015 年的工作十分细致，也得到了一些有趣的发现：比如国王画廊已经从铅锤中移开了约一英尺；巴黎圣母院的内部柱子并没有完美对齐等。
Tallon 在去年年底离世，他留下的数字信息，能够为巴黎圣母院的修复工作提供三维模型，让它在重建过程中有据可依。
对于突如其来的灾难，留有 3D 模型的建筑固然是幸运的，那如果没有进行相应的操作，又该怎么办呢?
从图片还原遗迹
一家叫 Iconem 的公司，通过 Microsoft AI 构建了一个 AI 模型，能根据建筑物以往的实景照片，还原遗迹被损坏前的 3D 图像。
为了重构遭到战争荼毒的巴尔米拉古城（ Ancient city of Palmyra ，该古城 2015 年被极端恐怖组织伊斯兰国占领，随即遭到破坏），Iconem 利用摄影测量技术，通过 5 万多张巴尔米拉古城的实景照片，重现了古城逼真的电子模型。
虽然没有直接完成最后的修补，但如果要对建筑进行实体修复，这将会是关键的一步。
截止目前，Iconem 已经通过 AI 技术，构建了许多被损坏遗迹的数据模型，包括北苏丹的 Meroe 金字塔、利比亚圆形剧场、伊朗阿拉穆特古城堡等。
Intel 用机器学习技术帮助长城修缮
Intel 也利用 AI 技术，帮助箭扣长城的修缮工作。
面对自然灾害侵蚀以及人为损坏，箭扣长城急需修缮。但其地势险峻，为修缮工作增加了一定难度。
Intel 中国研究院、Intel 数据中心事业部，以及武汉大学测绘遥感国家重点实验室共同合作，通过无人机结合 AI 算法，助力箭扣长城修缮项目。
无人机对箭扣长城城墙进行航拍
据悉，修缮的过程主要分三个步骤来进行：
1、采集高精度图像
在箭扣长城保护项目中，使用 Intel 最新款猎鹰 8 无人机，对城墙进行长城整体和局部的航拍和精确成像；
2、3D 建模和损毁部位的人工智能识别
借助最新的服务器，快速分析处理高分辨率影像数据，产生完整的高精度长城影像 3D 模型，再利用人工智能算法在 3D 模型上识别出需要被修缮的部分，提供裂缝和塌方等破损的测量数据，用于指导物理修复。
3、3D 模型的人工智能数字化修复
在 3D 模型损毁识别基础上，利用最新的 3D 模型对抗生成网络，以及回归卷积网络，对城墙缺损部位进行数字化修复，并对实际的长城修缮和维护提供指导和参考建议。
当然，最终的修补工作还是要靠工人或者工人操纵的机械来完成。
技术从视觉和体验上带来进展
虽然技术让我们看到了希望，但不得不承认的是，AI 只能提供修复的建议和参考，并不能完全地复原巴黎圣母院。
去年巴西博物馆的火灾，也让大量的珍藏文物化为灰烬，但它全面开始重建也要等到 2021 年。所面对的是来自资金、技术等各方面的阻力。
而折中的办法，就是利用数字虚拟的方式，在影像上实现复现。比如腾讯和巴西博物馆合作，通过网络用户，大量征集有关巴西博物馆的照片，使用图像识别和大数据等形式，构建一个数字化的虚拟博物馆。
火灾前的巴西博物馆
DeepMind 的研究人员，也在去年提出了一项将图片转化为 3D 场景的技术。他们利用生成查询网络（Generative Query Network，简称 GQN），结合 VR 技术，将旧照片中的场景重现。
GQN 的原理示意图，论文名称：
《 Neural scene representation and rendering 》
这让人们可以获得「身临其境」的感受。比如「回到过去」，体验一把儿时睡过的摇篮，甚至去「参加」父母的婚礼。
技术只能提供帮助，但无法完全重建
反观现有的技术和手段，尽管有多种方法能实现数字化的还原，但必须承认一个事实，独一无二的巴黎圣母院，在大火燃烧、浓烟翻滚之际，就永远的离我们而去了，而完全的物理重建是一项不可能的工作。
我们都清楚，数字模型只能是带来参考，或者呈现出虚拟的影像，而那些独特的建筑和艺术品，只能留在那些见识过它们美丽的人心中。
事实上，很多文物的修复工作依然要靠人工去完成。纪录片《我在故宫修文物》就向我们讲述了一代一代修复大师用匠人精神化腐朽为神奇的故事，敦煌壁画也同样是修复师历经 6 年的工作才得以复原。
因此，我们提倡技术，并不是因为技术万能，只是因为技术还不足以上升到道德层面。也许现在的技术，并不能还原一座艺术殿堂给我们。但至少技术的进步，能让我们面对此类的事件时，能够保持理性，并且怀有希望。
超神经百科
生成查询网络 Generative Query Network，GQN
这是一个框架，在这个框架中，机器通过仅训练他们在场景中移动时获得的数据来学习感知周围环境。就像婴儿和动物一样，GQN 通过试图理解它对周围世界的观察来学习。通过这样做，GQN 可以了解合理的场景及其几何属性，而无需对场景内容进行任何人工标记。
GQN 模型由两部分组成：表示网络和生成网络。表示网络将代理的观察作为其输入，并产生描述基础场景的表示（向量）。然后，生成网络从先前未观察到的视点预测「想象」场景。
GQN 具有以下几个重要特性：
1. GQN 的生成网络可以非常精确地从新视角「想象」以前未观察到的场景；
2. GQN 的表示网络可以学习对对象进行计数，本地化和分类，而无需任何对象级标签；
3. GQN 可以代表，衡量和减少不确定性；
4. GQN 的表示允许对强大的数据进行有效的强化学习。
