您的位置:首页 >聚焦 >

AI黑科技!从此只看高清视频

2022-03-15 21:11:14    来源:程序员客栈

↓↓↓点击关注,回复资料,10个G的惊喜

最近发现一个特强的视频超分算法——BasicVSR,在真实数据集中,实现了前所未有的视觉重建效果,最近它还拿下了超分比赛NTIRE 2021三冠一亚的优异成绩,登上了CVPR 2022。

视频超分,假设低分辨率视频是从高分辨率的视频经过一系列的退化操作而得到,超分算法就是将该退化操作进行求逆,从而可以将低分辨率视频恢复成高分辨率视频。

左侧为AI高清化,右侧为原片
左侧为AI高清化,右侧为原片

对算法细节感兴趣的同学可以先研究一下论文『Investigating Tradeoffs in Real-World Video Super-Resolution』

https://arxiv.org/pdf/2111.12704.pdf

我试玩了一下,感觉效果还是蛮不错的,下面就分享一下BasicVSR在ubuntu下的安装极简教程。

实不相瞒,macOS和ubuntu下我都安装成功了,Windows没有成功(老报错),感兴趣且运气爆表的同学可以再试试。

安装

1 创建环境

condacreate-nrealbasicpython=3.8

2 安装pytorch

https://pytorch.org/get-started/locally/

具体版本需根据自己的电脑配置,如有GPU,需与注意自己的cuda版本,可以使用nvidia-smi查看。

condainstallpytorch==1.7.1torchvision==0.8.2torchaudio==0.7.2cudatoolkit=10.1-cpytorch

3 安装mim和 mmcv-full

MMCV 是一个面向计算机视觉的基础库,它支持了很多开源项目。建议安装完整版:mmcv-full ,包含所有的特性以及丰富的开箱即用的 CUDA 算子。

但是直接pip安装需注意cuda和torch版本,容易安装失败。建议使用MIM安装,它会自动检查 CUDA 和 PyTorch 环境并尽量帮我们安装和环境匹配的预编译版本的 MMCV-full,从而省去编译的耗时。

pipinstallopenmimmiminstallmmcv-full

4 安装MMEditing

MMEditing是基于 PyTorch 的图像&视频编辑开源工具箱, 提供修复/抠图/超分辨率/生成等任务最先进的算法。用pip我试了也失败了几次,最后只能本地安装:

gitclonehttps://github.com/open-mmlab/mmediting.gitcdmmeditingpipinstall-rrequirements.txt#如报错,忽略即可,继续执行下指令pipinstall-v-e.

使用

1 克隆项目

https://github.com/ckkelvinchan/RealBasicVSR

2 下载预训练模型

下载地址:

https://entuedu-my.sharepoint.com/personal/chan0899_e_ntu_edu_sg/_layouts/15/download.aspx?SourceUrl=%2Fpersonal%2Fchan0899%5Fe%5Fntu%5Fedu%5Fsg%2FDocuments%2FRealBasicVSR%2FRealBasicVSR%5Fx4%2Epth

在RealBasicVSR项目下新建checkpoints文件夹

3 运行将需要转换的视频放到data目录下,运行即可

pythoninference_realbasicvsr.pyconfigs/realbasicvsr_x4.pycheckpoints/RealBasicVSR_x4.pthdata/demo_001.mp4results/demo_001.mp4--fps=12.5

4 结果

运行比较耗时,需耐心等待,如果你有钞能力,当我没说。

准备写本书

麻省理工公开课:微积分

太骚了,用Excel玩机器学习!

如何评判一个深度学习框架?

统计学知识闯关之十问十答

机器学习理论基础到底有多可靠?

关键词: 低分辨率 高分辨率 机器学习

相关阅读