最近有件大事,11 月 15 日,全球瞩目的经典电影《海上钢琴师》4K 修复版即将登陆全国院线。岁月侵蚀的影片经典场景,在老胶片的保存下只剩模糊的影像。而此次经 4K 技术修复的版本,据说采用了先进的图像超分辨率技术,分辨率和效果大幅度提升,磨损的视频图像恢复到当时拍电影时的真实效果,细节展现得淋漓尽致,光影清晰、细腻、赏心悦目。

这个图像超分辨率技术黑科技到底是怎么回事,加持人工智能的视频超分又是如何实现的呢?

什么是图像超分辨率技术?

超分辨率 (Super-Resolution) 是一种通过硬件或软件的方法提高原有图像的分辨率的技术,其中,通过一系列低分辨率的图像来得到一幅高分辨率的图像过程就是超分辨率重建。超分辨率重建的核心思想就是用时间带宽 (获取同一场景的多帧图像序列) 换取空间分辨率, 实现时间分辨率向空间分辨率的转换。

用通俗的话来讲,超分辨率就是将图像从下图中左边的样子变成右边的样子。即提供更多的像素点,让图像的细节更加丰满。如果从信号的角度看,那就是在原信号中补充出更多的高频成分。

除了可以对传统影视节目的视频图像进行修复重建外,这项技术在医疗图像分析、生物特征识别、视频监控与安全等实际场景中也有着广泛的应用。例如,警察可以通过超分辨率技术识别监控视频中的罪犯,医生可以通过超分辨率技术得到更清晰的病灶图像等等。

上图是利用超分辨率技术处理视频前后。处理前,视频比较模糊、灰暗,视频中的伪影较多;处理后,视频在清晰度、明亮度上都有较大提升。

超分辨率技术的研究现状

图像的超分辨率复原技术主要分为两大类,一是基于重建的方法,二是基于学习的方法。近年来,随着深度学习的兴起,图像超分辨率技术出现了新的研究方向。基于深度学习的 SR(Super-Resolution),主要是基于单张低分辨率的重建方法,即 SISR(Single image Super-Resolution)。

SISR 是一个逆问题,对于一个低分辨率图像,采用不同的方法得到的高分辨率图像会略有不同。也就是说,可能存在许多不同的高分辨率图像与之对应。因此,通常需要在求解高分辨率图像时会加一个先验信息进行规范化约束。在传统的方法中,这个先验信息可以通过若干成对出现的低-高分辨率图像的实例中学到。而基于深度学习的 SR 通过神经网络直接学习分辨率图像到高分辨率图像的端到端的映射函数。

目前,基于深度学习的 SR 方法有很多,从 2014 年的 SRCNN 开始,到 VDSR 和 NTIRE2018 的冠军 WDSR,基于深度学习的超分辨技术不断创新网络架构、损失函数、学习策略,在特征提取、非线性映射和重建的架构上取得不断突破。

为了获得高质量的高分辨率图像,满足人们在实际生产生活中的各种需求,超分辨率图像复原的研究发展方向主要集中在以下三个方面:

完善现有算法,不断发展新的算法。这样做目的在于提高超分辨率图像复原的能力,减小计算量,加快运算的收敛速度,适用不同的图像要求;

发展和寻求新的退化成像模型,使成像模型更加精确和全面,实现对点扩散函数和噪声的精确估计;

在利用序列和多幅图像的复原中,发展和寻求新的运动模型,能够对运动进行精确估计。

看到这里,相信大家已经对这个 AI 新技术有一定的了解了。想要继续深入学习这一技术同时获取实战经验,证明一下自己吗?今年有两个人工智能赛事和图像超分辨率技术相关,一个是优酷超分比赛,9 月份已结束了;近期刚刚启动的是首届「全国人工智能大赛」,其中 AI+4K HDR 赛项就是和超分辨率技术相关的,可以说是同学们挑战自己、证明自己不可多得的好机会!采用现有的一些 AI 算法模型,参照之前的比赛,很快就能上手。

全国人工智能大赛

全国人工智能大赛(以下简称大赛)由深圳市人民政府设立于 2019 年 8 月。大赛将立足国际视野,营造人工智能创新创造氛围,促进产业、学术、资本、人才等创新要素融合发展。大赛由深圳市人民政府主办,深圳市科创委、鹏城实验室及科技部指导成立的新一代人工智能产业技术创新战略联盟(AITISA,以下简称「联盟」)共同承办,腾讯科技等协办。

大赛以「AI 赋能视界」为主题,「AI+4K HDR」赛项的总奖金池金额 268 万,其中一等奖高达 100 万,无疑是今年国内总奖金和一等奖金额最高的人工智能赛事。

本次比赛包括初赛、复赛和决赛,比赛任务分别为:

初赛任务 :视频四倍超分,要求将叠加随机噪声的 540p SDR 视频重建为去噪后的 4K SDR 视频;

复赛任务 :视频四倍超分+画质增强,要求将夹杂过曝/欠曝内容、未调色的 540p SDR 视频重建为高质量、已调色的 4K SDR 视频;

决赛任务 :视频四倍超分+HDR,要求将低质量 540p SDR 视频重建为高质量、已调色的 4K HDR 视频。

大赛日程

比赛时间 :2019-10-17 至 2020-1-15

报名 :2019-10-17(12:00:00 AM)至 2019-11-29(12:00:00 AM)

PC 电脑登入竞赛官网,用微信或 Github 账号登陆,均可完成个人信息注册和报名参赛

初赛、复赛均为线上比赛,参赛地点不限

初赛阶段 :2019-10-28(12:00:00 AM)至 2019-11-30(12:00:00 AM)

初赛评审阶段 :2019-12-2(12:00:01 AM)至 2019-12-6(12:00:00 AM)

各参赛队伍登录竞赛平台可以下载数据(包括训练集、测试集等),本地进行算法设计、模型训练及调试,在线提交评测结果参与排名。

排名靠前的 150 支团队提交结果进行人工复核,通过复核的前 100 支参赛队伍将进入复赛。

复赛阶段 :2019-12-9(12:00:00 AM)至 2020-1-3(12:00:00 AM)

复赛评审阶段 :2020-1-6(12:00:00 AM)至 2020-1-10(12:00:00 AM)

初赛的优胜选手进入复赛。复赛期间将开放复赛训练集、测试集,各参赛选手提交结果进入评分、排名、代码验证等。

决赛阶段 :2020-1-11 至 2020-1-15

复赛的优胜选手进入决赛,决赛在深圳开展。决赛采用现场技术比拼、现场答辩等方式进行。复赛后公布具体赛题数据和相关安排。

想要挑战自己,提高技术,获取高额奖金吗?那就打开大赛官网,和来自全国各地的大神们一较高下吧!