| 注册
请输入搜索内容

热门搜索

Java Linux MySQL PHP JavaScript Hibernate jQuery Nginx
OPEN编辑
6个月前发布

你动、蒙娜丽莎跟着一起动,OpenCV这么用,表情口型造假更难防了

  有没有想过让蒙娜丽莎跟着你的表情动,来一番亲切的交流?

  Aliaksandr 的一阶运动模型(First Order Motion Model)可以实现,但是实现过程非常复杂且繁琐。

  一阶运动模型功能强大,可以在未经预训练的数据集上对图像和视频进行特效生成,但代价是安装配置比较繁琐。

  能不能简单一点,再简单一点?

  印度一位程序员阿南德·帕瓦拉(Anand Pawara)设计了基于 OpenCV 实现的实时动画特效。

  毕竟 OpenCV 是成名已久的跨平台视觉库,是事实上的计算机视觉领域的标准库。

  项目中涉及的人脸识别、动作识别和运动跟踪,均在 OpenCV 库中原生支持。

  几天前,阿南德在 GitHub 上开源了完整代码,并给出实现具体过程。

  走过路过,不要错过。

  安装过程

  1、安装依赖模块

  安装依赖模块:

  安装 pytorch 1.0.0 :

  2、下载配置文件(如果不能下载,文件链接在文末)

  3、运行程序

  运行文件 :

  针对摄像头的实时特效生成 :

  针对既有视频的特效生成 :

  如果你想上手试试,只需要调整相关配置文件即可。

  模型分为两种使用模式,一种是较为常规的导入视频常规方法,另外一种就是实时生成视频特效。

  但是,请注意,一定要使用pytorch 1.0.0 版本,因为更高的版本在后端依赖的一阶模型上存在问题。

  按照作者的后续计划,会推出客户端程序,并且会增加假声(deepfake voice)功能。

  立足 OpenCV 的优化

  阿南德所做的工作是简化现有的一阶运动模型(First Order Motion Model),使用 OpenCV 对视频进行特效生成。

  项目的后端支持由 OpenCV 库完成,避免使用复杂的模型,降低使用门槛。

  按照作者观点,使用这个模型只需要对一类数据集进行训练后,便可应用到对其全部事物上去,即具有较好的泛化能力。

  不同于原一阶模型的多个数据集测试效果,现在阿南德实时动态特效模型还只在人脸数据集上进行测试,后续后持续增加其他数据集。

  这个模型的特点是易用,配置非常简单,基本可以开箱即用,即使是训练自己的数据集也会比较简单。

  因为立足于对现有资源进行优化配置,操作简易,功能强大。

  当然,简单也会带来问题,比如现在数据集较为单一,针对的主要是人脸数据集。

  此外,对人脸的轮廓识别效果还不那么令人满意,需要加以改造。

  作者简介

  项目作者阿南德·帕瓦拉(Anand Pawara)是印度 AvenDATA 公司的一名深度学习工程师,现居孟买。

  繁琐的工作自动化,大幅度降低上手的难度。

  完整实现过程连接在下面,如果有兴趣,欢迎自己去试试哟~

  参考链接:

  https://github.com/anandpawara/Real_Time_Image_Animation

  https://m.weibo.cn/1402400261/4508119667605445