生成對抗網絡，AI將圖片轉成漫畫風格

作者：渡碼 2022-11-28 08:47:33

人工智能

今天分享的這個項目是用 GAN 生成對抗網絡實現的，關于GAN的原理和實戰我們之前分享過很多文章，想了解的朋友可以去翻歷史文章。

哈嘍，大家好。

最近大家都在玩 AI 繪畫，我在 GitHub 上找了一個開源項目，給大家分享一下。

今天分享的這個項目是用 GAN? 生成對抗網絡實現的，關于GAN的原理和實戰我們之前分享過很多文章，想了解的朋友可以去翻歷史文章。

源碼和數據集文末獲取，下面分享如何訓練、運行項目。

1. 準備環境

安裝 tensorflow-gpu 1.15.0?，GPU顯卡使用2080Ti?，cuda版本10.0。

git下載項目AnimeGANv2源碼。

搭建好環境后，還需要準備數據集和vgg19。

下載dataset.zip?壓縮文件，里面包含 6k 張真實圖片和2k張漫畫圖片，用于GAN的訓練。

vgg19是用來計算損失的，下面會有詳細介紹。

2. 網絡模型

生成對抗網絡需要定義兩個模型，一個是生成器，一個是判別器。

生成器網絡定義如下：

with tf.variable_scope('A'):
    inputs = Conv2DNormLReLU(inputs, 32, 7)
    inputs = Conv2DNormLReLU(inputs, 64, strides=2)
    inputs = Conv2DNormLReLU(inputs, 64)

with tf.variable_scope('B'):
    inputs = Conv2DNormLReLU(inputs, 128, strides=2)
    inputs = Conv2DNormLReLU(inputs, 128)

with tf.variable_scope('C'):
    inputs = Conv2DNormLReLU(inputs, 128)
    inputs = self.InvertedRes_block(inputs, 2, 256, 1, 'r1')
    inputs = self.InvertedRes_block(inputs, 2, 256, 1, 'r2')
    inputs = self.InvertedRes_block(inputs, 2, 256, 1, 'r3')
    inputs = self.InvertedRes_block(inputs, 2, 256, 1, 'r4')
    inputs = Conv2DNormLReLU(inputs, 128)

with tf.variable_scope('D'):
    inputs = Unsample(inputs, 128)
    inputs = Conv2DNormLReLU(inputs, 128)

with tf.variable_scope('E'):
    inputs = Unsample(inputs,64)
    inputs = Conv2DNormLReLU(inputs, 64)
    inputs = Conv2DNormLReLU(inputs, 32, 7)
with tf.variable_scope('out_layer'):
    out = Conv2D(inputs, filters =3, kernel_size=1, strides=1)
    self.fake = tf.tanh(out)

生成器中主要的模塊是反向殘差塊

殘差結構(a)和反向殘差塊(b)

判別器網絡結構如下：

def D_net(x_init,ch, n_dis,sn, scope, reuse):
    channel = ch // 2
    with tf.variable_scope(scope, reuse=reuse):
        x = conv(x_init, channel, kernel=3, stride=1, pad=1, use_bias=False, sn=sn, scope='conv_0')
        x = lrelu(x, 0.2)

        for i in range(1, n_dis):
            x = conv(x, channel * 2, kernel=3, stride=2, pad=1, use_bias=False, sn=sn, scope='conv_s2_' + str(i))
            x = lrelu(x, 0.2)

            x = conv(x, channel * 4, kernel=3, stride=1, pad=1, use_bias=False, sn=sn, scope='conv_s1_' + str(i))
            x = layer_norm(x, scope='1_norm_' + str(i))
            x = lrelu(x, 0.2)

            channel = channel * 2

        x = conv(x, channel * 2, kernel=3, stride=1, pad=1, use_bias=False, sn=sn, scope='last_conv')
        x = layer_norm(x, scope='2_ins_norm')
        x = lrelu(x, 0.2)

        x = conv(x, channels=1, kernel=3, stride=1, pad=1, use_bias=False, sn=sn, scope='D_logit')

        return x

3. 損失

計算損失之前先用VGG19?網路將圖片向量化。這個過程有點像NLP?中的Embedding操作。

Eembedding?是講詞轉化成向量，VGG19是講圖片轉化成向量。

VGG19定義

計算損失部分邏輯如下：

def con_sty_loss(vgg, real, anime, fake):

    # 真實圖片向量化
    vgg.build(real)
    real_feature_map = vgg.conv4_4_no_activation

    # 生成圖片向量化
    vgg.build(fake)
    fake_feature_map = vgg.conv4_4_no_activation

    # 漫畫風格向量化
    vgg.build(anime[:fake_feature_map.shape[0]])
    anime_feature_map = vgg.conv4_4_no_activation

    # 真實圖片與生成圖片的損失
    c_loss = L1_loss(real_feature_map, fake_feature_map)
    # 漫畫風格與生成圖片的損失
    s_loss = style_loss(anime_feature_map, fake_feature_map)

    return c_loss, s_loss

這里使用vgg19?分別計算真實圖片(參數real)與生成的圖片(參數fake)?的損失，生成的圖片(參數fake)與漫畫風格(參數anime)的損失。

c_loss, s_loss = con_sty_loss(self.vgg, self.real, self.anime_gray, self.generated)
t_loss = self.con_weight * c_loss + self.sty_weight * s_loss + color_loss(self.real,self.generated) * self.color_weight + tv_loss

最終給這兩個損失不同的權重，這樣是的生成器生成的圖片，既保留了真實圖片的樣子，又向漫畫風格進行遷移

4. 訓練

在項目目錄下執行以下命令開始訓練

python train.py --dataset Hayao --epoch 101 --init_epoch 10

運行成功后，可以看到一下數據。

同時，也可以看到損失在不斷下降。

源碼和數據集都已經打包好了，需要的朋友評論區留言即可。

如果大家覺得本文對你有用就點個在看鼓勵一下吧，后續我會持續分享優秀的 Python+AI 項目。

責任編輯：武曉燕來源：渡碼

AI 圖片 GAN

成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

生成對抗網絡，AI將圖片轉成漫畫風格

1. 準備環境

2. 網絡模型

3. 損失

4. 訓練