肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?

6月30日 , 建党一百周年纪念日的前夕 , 一条消息冲上微博热搜第一——AI修复让李大钊陈延年们露出微笑 。 在这个视频片段里 , 李大钊、陈延年、向警予、董存瑞……这些为党的事业牺牲的革命先烈露出笑容 , 让网友们感慨不已 。

肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?
文章图片


肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?
文章图片

通过AI技术 , 让革命先辈们从史料中走出来 , 和观众进行一场穿越时空的微笑示意 , 这个过程是怎么实现的?这段影像的创作背后有怎样的故事?除了革命先烈 , AI修复技术还可以让我们看到哪些历史?带着这些问题 , 南都采访人员采访了这段AI修复革命先烈影像的创作者胡文谷(B站账号:大谷的游戏创作小屋) 。
胡文谷是一名独立艺术家、游戏制作人 , 他从小学习钢琴 , 又会画画 , 笑称自己是“程序员里最会画画的作曲家” 。 去年5月 , 胡文谷在社交媒体上发布了“用人工智能恢复一百年前的北京影像”的视频 , 在技术的帮助下 , 模糊的黑白影像有了色彩 , 变得清晰生动 , 视频在微博和B站上大火 , 南都曾对胡文谷做过专访《对话“AI复原百年前北京影像”作者:看到上万转发以为电脑中毒》 。
此后 , 胡文谷完成了一系列对珍贵历史影像的修复 , 有1919年北平五四运动的场景、1929年上海女性的时装秀 , 也有1924年李大钊在莫斯科剧院里慷慨激昂的演讲、1930年梅兰芳带着昆曲《刺虎》在海外演出的顾盼生姿 , 他和央视合作修复了1958年中国最早的电视节目影像 , 此次 , 在建党百年之际 , 他和人民日报合作修复了这一组革命先辈的照片 。
这些修复得益于来自全世界的人工智能科研团队研发的开源项目 。 胡文谷认为 , 每个人都可以通过学习人工智能项目 , 成为一个创作者、艺术家 。 他也在网上和网友分享创作的过程 , 他希望有更多的人可以使用AI修复技术来进行创作 , 打捞起庞杂的历史影像资料 , 让人们看见历史 。
以下是南都采访人员与胡文谷的对话 。
【肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?】1
与先烈有”穿越时空的对话”
南都:#AI修复让李大钊陈延年们露出微笑#这个话题昨晚冲上微博热搜第一 , 作为创作者 , 你当时是什么感受?
胡文谷:看到热搜的时候还是非常震撼的 , 感谢大家的喜欢 , 我也很高兴能够跟网友们一起分享我做的这段修复 。
南都:你是怎么想到在建党100周年纪念日做这件事情的?
胡文谷:事实上我一直在做中华文化的一些老影片、老记录的修复工作 , 包括上色或者肖像画像的还原 , 我希望能够把过去的这些老旧的黑白影像 , 通过技术进行修复和还原 , 让大家能更好地感受到那段历史和故事 。
刚好这次人民日报为建党百年做《百年风华》的影片 , 邀请我参与影片中先烈肖像的修复工作 , 也就是大家在热搜上看到的那个片段 , 很有幸能参与到这项工作中 。
南都:可以简单介绍一下怎么用AI还原先烈肖像吗?困难的地方在哪里?
胡文谷:因为很多先烈牺牲时都比较年轻 , 留存的照片也较为模糊 , 我会先用AI脸部重建的技术把肖像画像来做一些重建 , 然后根据史料做一些手绘的精修 , 最后再用AI做一个增强 , 这里用到专门增强脸部细节的技术 , 可以让皮肤质感更加真实 。
整个过程中对史料的考据是比较难的 , 由于年代久远 , 一些人物的资料比较难找 。 我参考了一些革命先烈其他角度的老照片 , 以及他们后人的照片 , 来做一些精修 , 尽可能地还原他们真实的样子 。

肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?
文章图片

南都:这次在影片中对革命先烈的肖像做了一个微笑的设计 , 你当时是怎么想的?
胡文谷:因为我想要肖像在影片中有动态呈现 , 在做动态的过程中要考虑怎么把他们的表情做好 , 这是比较难的 。 我就想到了微笑 , 但是又不能特别夸张 , 要调整到一个合适的角度 。
另外 , 其实观众在看这段影像的时候 , 会感到这些先烈好像在跟你对视 , 这个也是特别设计过的 。 我希望观众在影片中和先烈有“穿越时空的对话” , 代入感更强 , 有更深的感受 。
2
“每一次修复都是重新了解历史的过程”
南都:除了这次的肖像修复外 , 你之前在社交媒体上发过很多AI修复影片的内容 , 比如一百年前的北京城、李大钊的演讲、梅兰芳的演出等 。 把模糊的黑白影像变成很自然的彩色影像 , 是怎么做到的?
胡文谷:AI影像修复主要有三个部分:补帧、上色和提升分辨率 , 都是用一系列不同的人工智能来完成的 , 现在有很多开源项目可以实现这些功能 。
首先是补帧 , 以前的黑白老电影的帧数都比较低 , 里面人物走路就和快放一样 , 连贯性不好 , 看着会有点滑稽 。 我们想把这些影像拉到正常的时间流速当中 , 就要补充一些帧数 , 这些新加的帧的画面通过人工智能来补足 。 这样影像看起来就自然很多 。
第二步是上色 。 我一般会用到两三个不同的人工智能技术来做上色工作 , 一种是AI自动上色 , 比如植物是绿色的 , 天空是蓝色的 , 这些AI可以自己完成 。 但这是远远不够的 , 像历史影像中衣服、建筑的颜色 , AI无法判断 , 这时候就需要考据史料 , 根据史料 , 我自己绘制一些参考导入 , 再让AI去生成 , 尽可能准确地还原历史影像的颜色 。
最后再通过一个提升分辨率的AI技术 , 让画面更加清晰 。

肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?
文章图片

1924年李大钊演讲影像修复前后对比
南都:所以做AI修复 , 历史方面的研究是非常重要的?
胡文谷:对 。 每一次修复都是重新了解历史的过程 , 我会在修复之前去找各种资料 , 查资料往往比技术修复需要更大的精力 。 比如梅兰芳的影像修复 , 大约一周就制作完成 , 但前期查资料耗时一个月 。 我要去找各种相关的资料 , 包括去问戏曲演员 , 颜色、花纹应该是什么样子的 , 只有这些工作做得足够扎实 , 才能尽可能地还原历史 。
这个过程中也会了解很多人物背后的故事 , 对一段历史影像的社会背景和其中涉及到的人物都有更深的认识 。 而且经常有意外收获 , 比如梅兰芳的影像中 , 我们就发现开场的主持人是当时好莱坞的一个华裔女演员 , 很惊讶 。
包括这次革命先烈们的修复 , 我在了解他们的故事时候也感到非常震撼 。 在当时中国那样一个积贫积弱、百废待兴的状态下 , 带领中国走到现在是非常不容易的 。

肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?
文章图片

梅兰芳1930年演出影像(修复前)

肖像|他用AI修复技术让李大钊陈延年们露出微笑,怎么做到的?
文章图片

梅兰芳1930年演出影像(修复后)
南都:最近你做的梅兰芳的修复效果非常惊艳 , 这个和之前的修复有什么不同?
胡文谷:我很久之前就想修复梅兰芳的影像了 , 但之前一直找不到合适的技术 。 之前的人工智能项目以自动上色为主 , 在给城市影像上色时效果还不错 。 但是它不太适合昆曲、京剧的上色 , 因为戏剧服装有很多固定的花纹、样式 , 妆容也很特别 , 大多数人工智能上色项目在训练时并没有相关的数据库 , 所以效果不好 。
后来我发现 , 我们国内阿里的团队出了一个开源项目GPEN , 它可以专门提升脸部细节 , 而且对亚洲人脸还原更好 。 这次就是用到这个国人自己研发的项目 , 让我们看到梅先生年轻时的样子 , 效果非常好 。
3
“五分钟的彼岸”
南都:你最开始是怎么想到用AI做历史影像的修复呢?
胡文谷:我本来是用AI做游戏开发 , 后来发现AI也可以运用到艺术创作和社会公益中 。 我就在B站和微博上做了一些分享 , 向网友介绍一些AI给影片上色的开源项目的进展 。 因为当时在国外已经有很多网友在做欧美影片的修复 , 国内这方面比较空白 , 我就试着开始做了 。
网友的反馈都非常好 , 他们会给我补充一些我不知道的历史知识 。 比如有一次我在加拿大的一个资料馆里找到一段关于中国的黑白影像 , 做了AI上色修复 , 后来网友们通过一些建筑细节、士兵的服装等判断出这是一百多年前的济南城 。 整个过程就像在线探案考古 , 非常有趣 , 也很有意义 。
这是我坚持做下来的一个原因 。 很多网友对历史影像有热情 , 比如他们会告诉我 , 很想看一些京剧、昆曲名家的影像修复 。
南都:做历史影像修复最大的感受是什么?
胡文谷:我自己会把修复定义成“五分钟的彼岸” , 希望在纷繁复杂的现代社会当中 , 我们能花五分钟去看一看这些修复 , 回顾一下历史 。 我自己的感受是 , 在修复之后会觉得他们不再是一个影片当中的历史资料 , 而是体会到这些人当时在就和我生活在同一片蓝天下、同一片土地上 , 我也希望能把这个感受分享给大家 , 以古鉴今的感觉 。
仰望星空 , 脚踏实地 , 我觉得我们既是遥望着星空的彼岸 , 也要踏踏实实地往前迈进 , 随着科技的发展 , 会有越来越多的新技术走进千家万户 , 我们这样的创作者会继承前辈们的精神 , 不断上下求索 , 用自己所能来做对社会有意义的事情 。
采写:南都见习采访人员李娅宁 采访人员马嘉璐

    推荐阅读