deepfakes/faceswap Train(训练)插件对比及配置优化

in Archives with 0 comment

deepfakes/faceswap gui详细使用教程(Training/训练篇)中,我们推荐了Dlight插件,faceswap提供了很多种不同的训练插件,就实际效果来说,见仁见智,有太多因素影响训练及最终转换的结果。但有一条可以确定的是:训练和转换的效果与素材源的质量有非常大的关系----目前还没有任何插件可以修正素材源的问题。

由于不同训练插件支持的输入和输出像素尺寸不同,训练所需的时间差别可能会有较大差别,例如:GTX 1080使用“Original”插件需要训练48小时,同样的条件下,使用“Villain”插件则需要一周,因为“Villain”插件使用了更大的像素尺寸,所需的运算量也相应的大幅度增加。

Train/训练插件对比

Original插件

64px input, 64px output

最初deepfake原作者开源时自带的训练模型,至今仍然好用;

DFaker插件

64px input, 128px output

相比“Original”,实现了输出像素比输入像素的放大,它支持的自定义配置参数较少,反而显得更易使用;

Dfl-H128插件

128px input, 128px output

基于“Original”改良而来,将输入、输出像素由64增大为128,但是牺牲了一定的质量;

Dfl-Sae插件

64-256px input, 64-256px output

结合了“Original”和“Iae”的部分算法,配置参数高度可定义,注重脸部细节,但可能导致A的脸部特征遗留。

Dlight插件

128px input, 128-384px output

由“Dfaker”演变而来,注重输出像素的放大,且配置起来非常简单;

Iae插件

64px input, 64px output

一种相对另类的算法架构,与其他训练插件不同,它的解码算法也是共享的,而在编码和解码算法之间增加了三个中间件用于特征区分;

Lightweight插件

64px input, 64px output

显存≤2GB的低端显卡用户可以选择Lightweight插件来体验faceswap;在高端硬件设备上,选择Lightweight插件会较快的完成训练,虽然效果可能不那么让人满意,但可以作为某种快速预览的途径;

Realface插件

64-128px input, 64-256px output

“Unbalanced”的继任者,配置参数高度可定义,但对“Swap Model”支持很差;

Unbalanced插件

64-512px input, 64-512px output

提供大量的可配置参数用于训练效果的提升,但需要一定的经验,逐渐被“Realface”取代,同样的,对“Swap Model”支持很差;

Villain插件

128px input, 128px output

除“Low Memory”外没有提供任何其他可自定义的配置参数,使用起来最简单,但对硬件资源要求较高;

Train模块通用配置优化

faceswap train通用配置入口.png

可以通过顶部菜单进入faceswap Train模块通用配置界面。

对于某个训练模型来说,这里的配置仅首次训练时生效,后续无法再更改。

Coverage

faceswap train模块coverage参数设置.jpg

它代表了人脸图片中多大范围的内容将被替换重建,通常来说,87.5是个不错的选择。

Mask Type

当素材源中人物带眼镜时不妨试试“Vgg-Obstructed”。

Comments are closed.