如何方便地控制 Nvidia StyleGAN 中的特征?

问题描述 投票:0回答:2

在 Nvidia 的 StyleGAN 视频演示中,他们展示了各种 UI 滑块(很可能只是为了演示目的,而不是因为它们在开发 StyleGAN 时实际上具有完全相同的控件)来控制功能的混合:

https://www.youtube.com/watch?v=kSLJriaOumA

但是,这里的 GitHub repsoitory https://github.com/NVlabs/stylegan 似乎缺少任何控制功能的简单方法。

是否有任何 Jupyter(或 Kaggle)笔记本具有通过滑块和上传的源照片进行功能控制的 UI 控件,或者一些简单的解决方案如何自己添加控件?除了生成随机图像之外,我如何实际使用 StyleGAN 项目做更多的事情?

machine-learning image-processing jupyter-notebook nvidia generative-adversarial-network
2个回答
4
投票

以防其他人寻找同样的东西。

最后我设法找到了非常接近我正在寻找的东西 - 一个允许通过 UI 控制 StyleGAN 面部特征的项目:

https://github.com/SummitKwan/transparent_latent_gan

使用的是CelebA数据集,所以种类不够多,特征经常纠缠太多。我希望为更大的 Flickr-Faces-HQ 数据集找到类似于此解决方案(或 Nvlabs 的演示图像混合)的东西,但似乎还没有。

我想,我必须自己研究机器学习和 Python,以达到足以在 Faces-HQ 数据集上调整 transparent_latent_gan 示例的理解水平。

奇怪的是,(似乎)还没有人创建出 Nvlabs 视频演示中展示的如此方便的 UI。


0
投票

实际上,有几种方法可以控制此类 StyleGAN 功能。请参阅本调查报告中的第 4、6 和 9 章https://arxiv.org/abs/2212.09102

来自第 6 章:“使用 StyleGAN 编辑图像的主要思想是,编辑是通过对其潜在代码进行一些操作来实现的,从而将代表该潜在代码的点移动到 StyleGAN 的潜在空间之一中”

© www.soinside.com 2019 - 2024. All rights reserved.