DeepFaceLab初体验
in 工具 with 0 comment

DeepFaceLab初体验

in 工具 with 0 comment

本文只是博主对于新技术好奇而产生的一次尝试。仅供科普与交流之用,请勿用于一切非法用途。
互联网不是法外之地,希望各位同学谨言慎行,将这项技术用于合法、合规、合理、合情的场景。


从2017年开始,由Reddit用户“deepfakes”公布的换脸视频引起了全球对AI换脸技术的热潮和重视。之后该用户由于遭遇了不可抗力的封禁之后,愤而公开了软件的源代码。

之后这几年大家对于这项技术的应用看法褒贬不一。但这不是今天的重点。今天我们就来体验一下其中做的最简单、最方便、最快更新的一款应用————DeepFaceLab。

版本说明

在目前可以找到的版本中,有以下三个版本:

(低级版)适用于等于或低于GTX1080的NVIDIA ,64位CPU。CUDA版本9.2

(高级版)适用于支持AVX指令的CPU,NVIDIA RTX,CUDA版本10.1

(兼容版)支持AMD/IntelHD 显卡和所有64位CPU。

用一句话来概述:AMD显卡或者用CPU(无独立显卡)计算的只能选择DeepFaceLabOpenCLSSE版本,如果你的显卡上了RTX系列可以用DeepFaceLabCUDA10.1AVX,如果是GTX系列的显卡那么只能用DeepFaceLabCUDA9.2SSE版本了

安装应用

安装应用前,如果未安装显卡驱动的话需要先安装显卡驱动(怎么装驱动就不说了,百度搜索下都有),大部分机器出厂应该都代号了。

然后下载对应的版本(出于不可抗力因素考虑,下载地址自行搜索)。

安装也非常简单,解压到一个目录里即可。

安装完成后可以在目录下看到一列批处理文件,手动运行以下文件

  1. clear workspace.bat
  2. extract PNG from video data_src.bat
  3. data_src extract faces DLIB all GPU debug.bat

然后当出现以下内容时,则代表应用已经正确安装了。

  1. clear workspace.bat

QQ截图20190312163027.jpg

  1. extract PNG from video data_src.bat

QQ截图20190312163126.jpg

  1. data_src extract faces DLIB all GPU debug.bat

QQ截图20190312163246.jpg

软件目录

|- _internal 应用源代码目录,不用管
|- workspace 工作目录
|  |- data_dst 替换视频转换成的帧画面图片
|  |  |- aligned
|  |  |- aligned_debug
|  |  |- xxx.png
|  |
|  |- data_src 源视频转换成的帧画面图片
|  |  |- aligned
|  |  |- aligned_debug
|  |  |- xxx.png
|  |
|  |- model 根据选择的处理方式生成的模型和相关配置文件
|  |
|  |- data_dst.mp4 替换的视频
|  |- data_src.mp4 需要替换的源视频
|  |- result.mp4   合成之后的视频
| 
|- xxx.bat 批处理命令 操作步骤

执行步骤

如图依次从上往下运行

111.png

其中有些步骤可以做更为细致的配置和跳过,此处因为是科普就先跳过了。
先照葫芦画瓢跑通demo。

首次结果

我的显卡是RTX2060,所以跑的是DeepFaceLabCUDA10.1AVX版本。在训练大约一个半小时(经历了22554次AI计算之后)。迫不及待的打算看下成果。

节选了四个帧画面做了截图比对(分别是一张正面照 两张侧身照 一张面部动作照),左侧为原视频截图,右侧为AI合成之后的效果

111.png

222.png

333.png

444.png

看完四张图,不得不说面部贴合近乎完美,每个器官的贴合位置出奇的一致。

那么缺点也很明显:
1.面部肤色差距过大。目前AI没办法对两个差距过大的肤色做综合色彩处理,很容易就能区分合成的视频(但是如果找到肤色相似的视频或者对视频做过特殊剪辑处理后,理论上可以做到贴合)
2.当拿来替换的视频中不存在某些原视频中的动作时,侧身或者大幅度面部动作会表现的很尴尬(如果加大替换视频的素材理论上可以解决这个问题)

总结:目前的AI换脸技术还存在一定的问题和门槛,但是当收集到足够的素材样本以及对参数进行调优之后,的确可以达到以假乱真的效果。

后续科普计划

1.参数调优
2.多面部处理
3.模型复用
4.处理方式介绍
5.更多细节处理...

参考文献

美国刮起“反AI换脸”热潮,创企各出奇招,联合对抗deepfakes
DeepFaceLab: SSE,AVX, OpenCL 等版本说明!
DeepFaceLab小白入门(2):软件安装!

Comments are closed.