潜在空间图像插值

问题描述 投票:0回答:2

有人可以告诉我如何(或它的名称,以便我可以查找)我可以实现这种插值效果? https://www.youtube.com/watch?v=36lE9tV9vm0&t=3010s&frags=pl%2Cwn

我尝试在每次迭代中使用r = r + dr,g = g + dr和b = b + db作为RGB值,但与视频的效果相比,它看起来过于简单。

image interpolation encoder decoder
2个回答
1
投票

在另一个视频中找到它,它被称为“潜在空间插值”,它必须应用于压缩图像。如果我有图像A而下一个图像是图像B,我首先编码A和B,对编码数据使用插值,最后解码得到的图像。


1
投票

“有人能告诉我如何实现这种插值效果吗? (或者它的名字,以便我可以查一查)......“

它实际上不是一个命名的插值效果。它似乎是插值的,但实际上它只是一些虚构的面部“特征”的实时更新变体(头发,眼睛,鼻子等是合成像素,从可能匹配的特征类型的库/数据库中获取提示)。

对于这种技术,他们使用神经网络进行类似于DFT图像重建的过程。您将修改频域(使用u,v)中的图像数据,而不是时域(使用x,y)。

您可以在此PDF中阅读相关内容: https://research.nvidia.com/sites/default/files/pubs/2017-10_Progressive-Growing-of/karras2018iclr-paper.pdf

(Python)源代码: https://github.com/tkarras/progressive_growing_of_gans

对于想法,在Youtube上你可以查找:

  • DFT image reconstruction(这是一个很好的例子,分阶段重建的黑白照片Nicholas Cage照片。大声的音乐警告)。
  • Image Synthesis与神经网络(一个夹子有替代鞋和手袋设计(项目照片)由N.N.“合成”后,它分析其他现有目录照片的功能作为“灵感”。
  • Image Enhancement Super Resolution using neural networks此方法最接近回答您的问题。一个示例在b / w中具有非常低分辨率的模糊像素化图像。不知道男孩还是女孩。在测试期间,网络合成各种更高质量的人脸图像,它认为这是测试输入的正确匹配。

在了解了它们是什么/如何实现它之后,您可以想到在不需要网络的情况下获得类似效果的快捷方式,例如:仅使用常规像素编辑功能。

© www.soinside.com 2019 - 2024. All rights reserved.