Image to image translation

Image to image translation

September 21, 2023

https://arxiv.org/abs/1512.04150 https://arxiv.org/abs/2104.01538

多峰无监督图像到图像翻译

目的

尽管这种条件分布本质上是多模态的,但现有方法做出了一个过于简化的假设,将其建模为确定性的一对一映射。因此,它们无法从给定的源域图像生成多样化的输出。为了解决这个限制,我们提出了一个多模态无监督图像到图像翻译 (MUNIT) 框架。(摘要)

方法

MUNIT 方法

方法概述

损失函数: 总损失

功能总结:给定一个输入图像并从高斯分布中采样一个风格变量 zz,模型会生成一个目标域图像,其内容取决于输入图像,风格取决于风格变量。不同的 zz 会在目标域中生成不同的输出图像。但这种方法仍然局限于一个域到另一个域的转换。如果需要多域转换,则应应用条件生成。(也许有其他工作解决了这个问题)。

网络结构

网络结构

结果

DRIT

方法

损失函数

结果

[https://arxiv.org/pdf/1703.00848.pdf]

方法

通过解耦食谱内容和菜肴风格的跨模态食谱嵌入

方法

ACME