航拍+AI︱极简的视频风格迁移体验

2022-05-11 09:44:45 浏览数 (1)

五年前,玩过很简单的风格迁移:

迁移学习︱艺术风格转化:Artistic style-transfer ubuntu14.0 caffe(only CPU)

加上最近有点想买个无人机,所以先打个样,看看无人机 AI的一些合成效果。

文章目录

  • 1 下载一个b站航拍视频
  • 2 风格迁移
  • 3 效果
    • 3.1 视频迁移风格 - 类型1
    • 3.2 视频迁移风格 - 类型2
  • 4 后续的想法

1 下载一个b站航拍视频

因为无人机还没到。。

估计到了,也要很久才能拍得出像样的,所以只能盗视频来试玩了,使用的是开源项目:BBDown

一款命令行式哔哩哔哩下载器. Bilibili Downloader

这款几个好处:

  • 有些B站视频不会出现水印,当然基本都有水印。。
  • 视频可以把音频 和 纯视频分开

window系统下载之后,记得把ffmpeg放在跟命令行一个文件夹,才能顺利合并音频和视频:

代码语言:javascript复制
BBDown [options] <url> [command]

一般来说:

代码语言:javascript复制
BBDown -tv <url> 

本篇的主角视频是:震撼大片!大疆御air延时航拍


2 风格迁移

之前文章迁移学习︱艺术风格转化:Artistic style-transfer ubuntu14.0 caffe(only CPU)用caffe,现在谁还记得这个古早框架。。

而且也不追求多好的效果,一开始只是试玩,就找到开源项目:PyTorch-Multi-Style-Transfer

整个开源项目还有Camera 版本:

代码语言:javascript复制
python camera_demo.py demo --model models/21styles.model

属于比较轻量级,而且上手比较快。

代码语言:javascript复制
python main.py optim --content-image images/content/venice-boat.jpg --style-image images/21styles/candy.jpg

这里指定风格图 要渲染的图,就可以work了。还可以自己训练风格模型,笔者就不训练了,直接使用作者的。

那么笔者的操作方式是把之前的视频,逐帧解析 逐帧风格渲染再合成,属于比较笨的方式。

在此懒得整理代码,反正就是复现大神的杰作。

3 效果

两个:

视频风格1

视频风格2

3.1 视频迁移风格 - 类型1

有一种黑云压城城欲摧的感觉。

3.2 视频迁移风格 - 类型2


4 后续的想法

后续还会想把paddlepaddle这款教程里面的几个模板复现一下:

【X世纪星际终端 】向外太空发漂流瓶,看AI生成的外星生物,用AR找外星痕迹

天空分割 外星飞碟:

可能引起不适的灵笼玛娜植物,植物mask YUV颜色融合:

0 人点赞