Stanford University

Motivation

  • 指导图像合成任务需要平衡图像真实性与服从图像与指导的符合程度。
  • 目前带指导图像合成技术大多数基于GAN架构，这类方法通常需要额外的训练数据或者损失函数。

​ （文章确实比较简单，但是意义重大）

Methods

  • 引入了SDEdit方法，Stochastic Differential Editing

  • 给定一张原图的Stoke，对其添加噪声，直至模糊了细节信息，同时保留了结构与大体颜色信息

    • 根据代码，模型训练时的逆向过程是1000步，那么添加噪声就用了0.5*1000=500步，相对的逆向过程变成了500步。

    image-20230301205143097

  • 使用了预训练的模型，所以文章本身并没有训练网络，直接用的前人的工作😶‍🌫️😶‍🌫️

  • 加噪的程度决定了真实程度与stoke符合的程度，作为一种权衡。

image-20230301205246043

  • 经过实验可知在[0.4,0.6]的比例时比较好的。
  • 代码流程：

image-20230301205432191

Experiment

  • 文章测试了自己手绘的stoke和代码生成的stoke，结果发现都OK。

    image-20230301205409011

  • 其他的结果见论文🫡