机器之心栏目

创作者：美图影象研究所

美图影象研究所（MT Lab）宣布发布美图画面质量修复算法 V2（全新升级），全新升级迭代更新版本号获得重特大技术性提升，现阶段已在美图秀一下证件照片、辅助工具及视频编辑（相片）中发布该算法。

摄影水平的普遍普及化与迅猛发展深入地转变了人们的日常生活，不经意间中大家已对随时取出手机拍摄纪录见怪不怪。但对很多人来讲，旧照片却安装着心里悠长的岁月和美好的回忆，郁滞着岁月与这些不知不觉被遗弃的美妙一瞬间，阅览旧照片就好似在与漫长以往开展的一场隔空对话。昔日老照片的共享也频登热点话题榜，带大家坐上时光穿梭机，刮起一场又一场的「复古风潮」。但因为期限悠久，初期摄影器材的技术水平比较有限，手机上配用的监控摄像头清晰度较低，旧照片的画面质量通常不高，很多相片还因通过多次转截与缩小造成 画面质量损伤比较严重。

2019 年，美图影象研究所（MT Lab）宣布发布人像画质修复技术性，根据快捷的一键实际操作就能完成旧照片低中画面质量人像图片的超清复原。此外，还能修复模糊不清、失焦及其因缩小造成 的画面质量损伤等各种低清图象情景。自此，对于现阶段人像画质修复所面临的两种至关重要挑戰：一是怎样能够更好地除去图象上造成 画面质量损伤的噪音、马塞克、模糊不清等影响因素；二是在人像画质修复全过程中怎样保存人脸真实身份信息（identity）并维持人脸不产生变形，MT Lab 不断迭代升级 AI 图象转化成技术性，根据深度神经网络方式 独立与前沿科技，自主研发全新升级转化成网络架构 MTIR-GAN，并在这个基础上凭着美图数千万数量级数据信息模型拟合开展培训学习培训，令 MTIR-GAN 具有良好的人像图片修复工作能力。

根据 MTIR-GAN 的美图画面质量修复算法 V2（全新升级）最后完成了对眼睫毛、眼眉、头发和皮肤等面部关键点较大程度上的复原修复，并保存人脸真实身份信息（identity），维持人脸不产生变形。与此同时合理解决了因图象数次缩小所致使的画面质量损伤及其因为拍攝自然环境如夜拍、摄录和视频拍摄全过程颤动等导致的照片模糊、失焦、噪音、马塞克等画面质量修复层面的至关重要的问题。值得一提的是，美图画面质量修复算法 V2还根据算法升級持续提升美图自研神经元网络逻辑推理架构，合理提高修复高效率，客户在 1.5 秒之内就可以见到單人像修复后的震撼实际效果，最大限度地减少了使用者的等待的时间。

图 1：美图画面质量修复算法 V2 实际效果（上为原照，下为设计效果图）

图 2：美图画面质量修复算法 V2 实际效果（上为原照，下为设计效果图）

美图画面质量修复算法 V2 图象修复全步骤

美图画面质量修复算法 V2 采用三个流程看待修复图象开展解决。最先，根据 MT Lab 的人脸技术性对人脸点开展精确定位，对于人脸脸部关键点多，必须精细化管理解决的状况，独立对面部画面质量开展修复与复原。此外，同歩对高清图开展去彩噪、去噪、去马赛克、去 jpeg 缩小、去模糊、去轻度颤动等画面质量修复实际操作，完成全图画质作用的提高，在其中包含低分辨率修复和高像素提高。除此之外，对于屏幕分辨率较高的图象处理用时比较明显的难题，美图画面质量修复算法 V2 采用先将待修复图变小到一定限度，再开展分层、去噪等画面质量修复实际操作，最终根据 guided-filter 网络架构的画质增强计划方案将其复原为初始屏幕分辨率，进而高效率提高测算高效率，大幅度缩小解决需要的等待时间。以上面部修复工作中和高清图修复工作中并行计算进行，修复后的面部将被贴回图象中，生成详细的修复图。最终，运用超分互联网对生成的详细修复图开展解决，完成图象总体画面质量的质感提高。美图画面质量修复算法 V2 详细步骤如下图 3 所显示：

图 3：美图画面质量修复 V2 全步骤

图 4：修复实际效果比照

图 5：修复实际效果比照

人脸修复实际步骤分析

人脸修复是此次美图画面质量修复算法升級的主要一部分，人脸修复实际步骤包含人脸裁框和面部转化成修复2个一部分。

1、根据最少包围盒矩形的人脸裁框

MT Lab 在人脸裁框带放弃了过去单纯性运用双眼间隔开展人脸裁剪的方法，而选用最少包围盒矩形对人脸开展裁剪，以最大限度确保人脸的一致性，操作步骤为：

(a) 根据自主研发的人脸检验和人脸两端对齐技术性完成对图片中人脸点集 FP 的快速载入，并测算另外接矩形框，根据向外扩展获得人脸的裁剪矩形框。

(b) 根据人脸的裁剪矩形框得到 人脸的转动视角，并从原照中裁取放正后的人脸图象 F。

2、根据 MTIR-GAN 网络设计方案的面部转化成修复

现阶段，StyleGAN2[2]能够转化成真实且超清的人脸，但其转化成的人脸是随即的，因此会造成 人像图片真实身份信息发生改变，没法立即用以人像画质修复。对于此事，MT Lab 根据研发的 Encoder 互联网获取待修复人像图片的构造信息和纹路，根据构造信息维持人像图片五官样子，避免产生变形。与此同时，纹路信息能够用于引导人像头发、皮肤颜色、眼睫毛等关键点转化成，进而再键入 StyleGAN2 的转化成互联网，就可以得到 修复完好无损且保存人脸真实身份信息（identity），维持人脸不产生弯曲的人像照片，事实上全部步骤即根据取代 StyleGAN2 的 w 空间向量和键入其转化成互联网的变量定义完成。比如，键入一张尺寸为 1024x1024 待修复的人像图，通过 Encoder 互联网的 8 次下采样，能够获得 4x4x32 的结构类型和 512 层面的纹路空间向量，再通过 StyleGAN2 的转化成互联网就可以获得 1024x1024 的修复面部图，实际网络架构如下图 6 所显示：

图 6：MTIR-GAN 互联网架构图

损失函数包含：L1 loss、Perceptual loss、Identity loss、Global D Loss、Facial D Loss。

根据修复后图象和 target 求取 L1 Loss，L1 Loss 能够使图象修复得更为清楚。

Perceptual Loss 选用 vgg-19 互联网开展测算，能够能够更好地修复人像图片皮肤颜色、层次感、关键点等信息。

为能够更好地完成人像图片真实身份信息的保存，选用美图影象研究所（MT Lab) 自主研发的人脸鉴别算法对人像图开展svm算法求取 loss。

辨别网络类型关键分成全局性和部分，根据该归类能够保证 修复后的人脸展现更为逼真的情况，部分五官信息则更为清楚并具备丰富多彩关键点。在其中，全局性互联网选用相近 StyleGAN2 的生成方式 ；部分互联网根据人脸点剪裁出双眼、嘴唇、眼眉三个位置，随后统一 resize 到 256x256 限度再键入辨别互联网求取 loss。

MT Lab 深耕细作 AI 行业，对焦关键技术

现阶段，美图画面质量修复算法 V2 已于美图秀一下发布，满足客户对相片修复的多元化要求，在完成对人像图片五官、头发、眼眉、眼睫毛等人脸关键点的进一步提升修复，提高肌肤真正、细致层次感的与此同时，也解决了在晚上拍攝、灰暗自然环境、拍攝颤动、摄录等不一样情景下对画面质量画面质量提高的重要要求。

以往30年，微软公司研究所一直根据交叉学科、跨组织、跨地区的科研，为微软公司、为社会发展想象和完成技术性发展前景，专注于培养一个有延展性、可持续性且身心健康的全世界社会发展，并保证 技术性可信赖，能够让每一个人获益。

为了更好地进一步探寻科学与技术发展趋势的将来，由微软公司全世界八大研究所携手并肩倾情打造出的第一届微软公司科学研究高峰会 Microsoft Research Summit 2021将于10月19日至21日网上举行。

来源于世界各国的300余名顶级生物学家和技术性管理者将产生共150场共享，包含微软中国老总兼CEO Satya Nadella，技术总监 Kevin Scott，微软公司全世界杰出高级副总裁、微软公司研究所责任人 Peter Lee……內容紧紧围绕“科学研究、颠覆式创新、可持续发展观、健康医疗、信赖”五大主题风格进行，话题讨论包含人工智能技术的应用领域、深度学习、可持续发展观、个人隐私与安全性、身心健康和生物科学这些。