图片怎么去掉马赛克恢复原图

  • 更新时间:2023-02-09
  • 2022-12-30 13:34
新简剪辑摘要:

图片怎么去掉马赛克,新简剪辑为您整理图片怎么去掉马赛克美图秀秀又有P图黑科技:上GAN修老照片,消除马赛克,可在线体验的相关介绍,欢迎点击图片怎么去掉马赛克网页详细了解。乾明 发自 凹非寺量子位 报道 | 公众号 Qbi

大家好,由投稿人华婷来为大家介绍图片怎么去掉马赛克的相关知识。图片怎么去掉马赛克很多人还不知道,现在让我们一起来看看吧!

乾明 发自 凹非寺

量子位 报道 | 公众号 QbitAI

美图秀秀,现在P图新增最新黑科技。

一言以蔽之,不服就GAN(生成对抗网络)。

不仅能够照片模糊、失焦等问题,还能去掉马赛克。

当然,也会顺手帮你美颜。

比如,这是一张20年前的图片,流传至今已经变得模糊了。P图后,效果是这样的:

图片怎么去掉马赛克恢复原图插图新简

图片是不模糊了,但是这个美颜效果……Emmm

甚至打上马赛克,它也能给你把皮肤“磨得”相对来说比较平整。

图片怎么去掉马赛克恢复原图插图新简1

这就是美图最近推出的“老照片修复”功能,能够取得这样的效果,不仅仅只是靠传统P图算法,还用上了GAN。

用GAN来P图

美图的GAN,名为BeautyGAN,由美图影像实验室MTlab研发。

主要用于解决图片被压缩,或者夜拍、抓拍或是抖动造成的照片模糊或者失焦等问题。

修复一张照片通常分两步:人像修复画质增强

人像修复

人像修复基本上对人脸进行修复,包括人脸裁框和脸部生成修复。

实现人脸裁框方面,美图舍弃了以往单纯利用眼睛间距来裁切人脸的方式,而采用最小包围盒矩形框来裁切人脸,具体来说是这样的:

先用目前成熟的基于CNN的人脸检测和人脸对齐方法获得图像中的人脸点集,计算其外接矩形,向外拓展得到人脸的裁切矩形。

然后通过人脸的裁切矩形,获得人脸的旋转角度,从原图中裁取摆正后的人脸图像。

脸部修复,就是GAN发挥作用的地方。

美图介绍称,人脸生成存在五官变形、丢失遮挡(如手、刘海等)信息等,导致大部分深度学习生成的人脸和真实人脸存在较大差距,生成的脸一眼就能看出来是假的。

图片怎么去掉马赛克恢复原图插图新简2

还好StyleGAN出现了,借用图像风格迁移能生成逼真人脸。但这仅仅只是生成,并不能实现一对一的人脸修复。

为了用StyleGAN,美图为其设计了一个编码器-解码器网络形式。

他们说,在这个过程中,如果想复用编码器中的featuremap,保留脸部的五官特征,避免发生变形,就需要将其和解码器对应大小的featuremap连接起来。

与以往采用加的连接形式,美图采用的是concat的方式,可保留编码器结构的部分featuremap,避免脸部严重变形或者丢失脸部遮挡(如手、刘海等)的信息。

实际的操作过程,是在网络中,输入一张s x s的图,经过五次下采样,得到一张大小s32 x s32的featuremap,再经5次上采样,生成一张大小为S x S的修复脸部图。

图片怎么去掉马赛克恢复原图插图新简3

为了进一步增强BeautyGAN的生成能力,美图还借助了StyleGAN的训练方式。

首先,他们训练了解码器的生成能力,即输入一个大小为s32 x s32的随机向量,通过逐层的上采样加上concat的随机向量,最终生成一张s x s大小的人脸,确保生成的人脸看不出真假。

图片怎么去掉马赛克恢复原图插图新简4

上述的解码器网络结构就是一个生成器,然后加上判别器,就构成了美图的BeautyGAN。

美图表示,直到解码器结构训练稳定具备生成人脸的能力后,才会与编码器结构合并,并进行整个网络结构的训练。

人像修复之后,就会进入下一阶段。

画质增强

美团表示,在这个过程中,分辨率比较高的图片在进行全图去噪等操作时,比较耗时间。

为了提高计算效率,他们将待修复图缩小到一定尺度,再进行分块、去噪等修复操作。然后通过guided-filter网络结构的画质增强方案恢复为原始分辨率。

之后,再利用超分辨率网络,最终使得画质整体变得更加清晰。

图片怎么去掉马赛克恢复原图插图新简5

至此,整个图像的处理流程也就大致明了。

美图影像实验室MTlab

最后,简单介绍下这次技术背后的美图影像实验室MTlab。

图片怎么去掉马赛克恢复原图插图新简6

美图影像实验室(MTlab)成立于2010年。2014年正式独立,目标是利用不断累计的图像数据,训练出更加精准的机器算法,利用算法提供更多服务。

目前,核心技术服务有人脸技术、3D技术、肢体检测、图像恢复、图像增强、增强现实、图像分割、影像生成、极致美颜、美妆技术、AI测肤等11项。

根据官方网站介绍,自2015年以来,美图影像实验室已经发表20多篇论文,其中不乏ICCV、ECCV、CVPR等计算机视觉领域的顶级学术会议。而且,在今年的CVPR和ICCV上的竞赛中,也都获得了有冠军。

基于MTlab,美图在2019年4月推出AI开放平台,对外进行解决方案输出,已经有用宝洁、屈臣氏、欧莱雅、丝芙兰、淘宝、百度等多家公司使用。

现在美图影像实验室MTlab的负责人是万鹏飞,博士毕业于香港科技大学ECE系,本科毕业于中国科学技术大学EEIS系。研究方向主要包括计算机视觉和计算成像。

One more thing…..

还是温馨提示一下吧。

美图这只AI,虽然能够去掉马赛克,但比较重的马赛克,效果并不太理想。

而且也只能去掉人脸上的马赛克,连沸羊羊就不行:

图片怎么去掉马赛克恢复原图插图新简7

看,根本没啥效果……

所以,有大胆想法的小伙伴们,也不是想GAN就能GAN的。

— 完 —

诚挚招聘

量子位正在招募编辑/记者,工作地点在北京中关村。期待有才气、有热情的同学加入我们!相关细节,请在量子位公众号(QbitAI)对话界面,回复“招聘”两个字。

量子位 QbitAI · 头条号签约作者

վ\’ᴗ\’ ի 追踪AI技术和产品新动态

与图片怎么去掉马赛克相关的热搜关键词

没有检索到相关的热门搜索词。

本文到此结束,希望对大家有所帮助。