MIT工科生跨界AI,独作论文登Nature:只需3.5小时修复600年前名画

一水 发自 凹非寺
量子位 | 公众号 QbitAI

MIT理工男跨界艺术,一不小心就以一篇独作论文登上Nature?!

由他设计的AI算法,将原本需要数月/数年才能搞定的名画修复工作,极限压缩至几小时。

Alex Kachkine,打破画作修复只能对原作数字扫描品进行“缝缝补补”的传统艺能,提出一种“以数字方式修复一幅画,并在物理上实现效果”的全新方法。

以下面这幅15世纪的油画为例,从左到右依次为受损原画、具体受损类型扫描、修复后画作,一眼看去修复效果确实还不错。

不过需要揭晓的是,修复后画作并非数字复制品,而是真真切切的原画(doge)。

他在原画表面贴上了一层“遮罩”(很薄的塑料薄膜)——

贴上后能直接修复画上的破损、褪色等问题,而且能在不损害原画的情况下,被化学品轻松去除。

当然最最重要的是,由于新方法引入了AI算法,这一修复过程从数年、数月转变为几小时。

拿上面的油画来说,面对5612个需要修复的区域(需要用57314种不同的颜色填充),整个过程从开始到结束耗时3.5小时,这比传统修复方法快了约66倍

下面揭晓Alex Kachkine修复油画的具体过程。

“缺损越多,新方法就越有效”

概括而言,Alex Kachkine主要进行了以下几个步骤:

  • “清洁”原画:利用传统技术去除所有之前的修复痕迹;
  • 扫描并分析原始画作:目的是创建画作原始状态下的数字版本;
  • 开始修复:用自己开发的软件找出需要修复的区域和需要填充的颜色;
  • 制作双层遮罩:将需要修复的区域和颜色信息转换成一个双层“遮罩”;
  • 打印薄膜:将两层遮罩打印在一层很薄的透明薄膜上,并对齐贴在原画表面,最后喷上一层薄薄的清漆固定。

整个过程be like:

这里重点解释一下最后两步。

所谓的双层“遮罩”(Musk),其第一层是彩色的,第二层图案完全相同但颜色为白色。

这两层需要完美对齐,否则修复的效果就会出问题。

Alex特意提醒,“为了完美重现色彩,必须同时使用白色和彩色墨水”。

之后他用高保真喷墨打印机把这两层“遮罩”打印在一层很薄的透明薄膜上,并将其对齐贴在画作表面。

贴好后再喷上一层薄薄的传统清漆,让修复的部分牢固地粘在画上。

大功告成后,今后修复人员可以用特殊的溶液轻松溶解这层薄膜,从而恢复画作的原始状态。

同时,“遮罩”上的数字文件会被保存下来,这样未来的修复人员可以清楚知道这幅画之前被修复过哪些地方。

Alex表示,这些都是在以前的修复工作中不可能实现的。

整体而言,修复这幅600年前的油画仅仅花了Alex三个多小时时间,而作为对比,他几年前人工修复一幅缺损程度相当的意大利画作花了9个月

并且Alex提醒,“缺损越多,新方法就越有效”

一个热爱艺术的理工男

说回Alex Kachkine本人,其跨界经历这一次也被传为佳话。

并且个人主页上也明晃晃写着:

一位擅长跨学科的工程师。

先说工程,这无疑是Alex Kachkine身上最鲜明的标签。

不论是家庭背景,还是个人求学创业经历,均与此相关。

他出生于一个“工程世家”,曾祖父修建桥梁,祖母为苏联战斗机研发自动驾驶系统,父母也都拥有工程学位。

按他自己的话说,“追随家族的脚步是必然的”。

进入高中后,他对工程学愈发感兴趣,并在最后两年里学习了德克萨斯州奥斯汀社区学院开设的加速生物技术课程。

在这里他结识了Joseph Oleniczak导师,而后者颇为赏识其才能。

后来当Alex进入德克萨斯大学奥斯汀分校攻读机械工程和经济学双学位时,正是这位导师邀请他参与研发细菌检测试剂盒的项目。

并且Joseph Oleniczak透露,虽然自己门下有很多优秀学生,但Alex是唯一被邀请的。

而Alex也不负所望,成功研发了一种病毒检测设备,然后师生二人凭借该设备于2018年共同创立了GeneTiger公司,至今这家公司仍在营业。

本科毕业后,本打算直接就业的Alex却发现很多工作都需要硕士起步,于是又加入了MIT微系统工程师Luis Fernando Velásquez-García的实验室。

这家实验室所涉及的领域也非常广泛,他们将工程学与航空航天、纳米技术以及质谱等领域连接起来。

而Alex再次作出重要贡献。

他用一篇论文解决了质谱仪离子源开发和优化的长期挑战。其中,他发现蒸发对质谱仪效率至关重要,但其他研究者往往忽视这一点。通过研究蒸发过程,他解释了许多过去研究中效率提升的意外结果。

不仅论文被2022年的IEEE顶会收录,还帮助实验室最终造出了更好、更高效的设备。

目前Alex仍在这家实验室,虽然实验室不隶属于大学的任何部门,但他始终在进行工程学研究。

而除了工程,Alex的另一面是:艺术

童年的一次看展经历,最早让他意识到了自己对艺术的真正热爱。

当时学校组织他们参观德州圣安东尼奥市的麦克奈艺术博物馆,一位导游向学生们展示了法国印象派画家Pierre-Auguste Renoir的一幅海景画。画中人物近距离难以清晰呈现,只有退后几步才能完全展现其形象。

这一独特观赏体验让Alex兴奋不已,以至于他脱离大部队独自在这幅画前反复观看。

长大之后,热爱艺术的Alex经常会购买一些画作,不过由于预算有限,这些画作通常是受损的。

也正因为这样,他才开始了画作修复之旅,并尝试用工程学思路寻找更高效的方法。

后来的故事,大家也都清楚了。

现在,他已经找到了一种能节省大量时间的修复方法,并且还打算持续优化。

一切的一切,Alex都是希望有更多受损艺术品能重回大众视野:

仓库里有很多受损的艺术品,可能永远都见不到了。希望通过这种新方法,我们有机会看到更多艺术品。

论文:
https://dspace.mit.edu/handle/1721.1/159269

(文:量子位)

发表评论