基于生成對抗網絡的圖像風格轉換算法

　　摘要：針對圖像樣式轉換產生的圖像質量不高的問題，提出一種基于生成對抗網絡的高質量圖像樣式轉換方法。借鑒循環GAN網絡結構上的發電網絡相結合的方法采用跳層結構和UNet網絡中的殘差網絡，增強網絡的多尺度不變性;其次，在判別網絡方面，提出一種多尺度擴展卷積判別器，以改善圖像樣式的空間幾何變換。實驗證明，與CycleGAN算法相比，該算法在圖像樣式轉換中的效果有很大提升，圖像樣式轉換的質量也得到了提高。

　　關鍵詞：圖像風格轉換;GAN;CydeGAN;UNet殘差網絡

　　李權學;牛夢晨;陳睿麟;陳伊婷;杜帥;徐梓欣成都信息工程大學學報2021-12-13

　　0引言

　　隨著圖像技術的發展，改變圖像樣式已成為圖像處理領域的一個分支。圖像遷移技術是將一幅圖像的內容與一幅或多幅圖像的內容進行融合，得到一幅新圖像的技術。在神經網絡出現前，為使一幅圖像具有另一幅圖像的特征，通過建立數學模型進行分析，不斷調整偏移模型，然后將圖像輸人到模型輸出結果中，完成圖像風格的偏移。直到2015年，Gayts等提出利用深度學習提取圖像紋理，通過梯度下降算法，不斷優化模型參數，對遷移后的圖像進行建模，最終生成另一幅符合預期的圖像。其原理是在用深度神經網絡(CNN)訓練圖像的過程中，靠近輸人層的特征映射包含更多的圖像紋理信息，而靠近輸出層的特征映射包含更多的內容信息。這種CNN訓練圖像的性質已經成為最早的圖像風格轉換技術。在基于深度學習的圖像風格轉換處理技術中，目前應用最廣泛的是基于生成對抗網絡的圖像風格轉換處理技術。生成性對抗網絡GAN(Generative)，是從數學中的博弈論中衍生的一種對抗性學習方法。一般的理論是通過對數據的不斷訓練和迭代，網絡可以學習到圖像的特征。根據這一特性，可以生成接近原始數據的新數據。該方法具有很強的性能，目前已廣泛應用于各個領域。文獻[1]提出一種基于生成對抗網絡的固定物體步態識別方法;文獻[2]提出一種基于條件生成對抗網絡的焊接圖像修復方法;文獻[3]使用生成對抗網絡對自動視覺檢測進行建模和分析;文獻[4]研究具有圖像放大的超分辨率生成對抗網絡的降噪性能;文獻[5]提出一種基于一維卷積神經網絡和條件生成對抗網絡的模型。該模型可以利用苗木的早期電信號快速有效地識別苗木的耐鹽期。生成性對抗網絡在圖像上也有很好的效果。文獻[6]提出一種使用生成對抗網絡生成人類胚胎細胞合成圖像的方法。文獻[7]使用生成對抗網絡對高光譜遙感圖像進行分類，并提出一種多鑒別器生成對抗網絡來研究鑒別器數目對分類結果的影響。

　　目前，應用最成熟的圖像風格轉換技術是商用產品Prisma，原理是通過深度神經網絡學習某幅圖像的風格，然后將這種風格應用到其他圖像中。深度神經網絡中應用最廣泛的技術是循環GAN(cydegan)。循環GAN相當于兩個傳統GAN。每個GAN發生器通過最小化損耗學習相應的變換函數。測量生成的數據和目標數據的差異，以計算發電機損耗，差值越大，生成器受到的懲罰將越高。雖然圖像樣式轉換技術在很多情況下都采用循環生成對抗網絡，但在生成的圖像中容易忽略一些細節，且存在噪聲等問題[4]。參照循環生成對抗網絡的結構，提出一種高質量的圖像樣式轉換網絡。首先，在生成網絡方面，將跳層結構與U網絡中的殘差網絡結合，可以增加網絡的多尺度不變性;其次，在判別網絡方面，多尺度擴展卷積判別器可以提高圖像樣式轉換的空間幾何變換效率，并能生成高分辨率的圖像。將目標域數據和源域數據的數據特征經過兩次處理后視為一個雙代對抗網絡。

　　1相關理論

　　1.1生成對抗網絡

　　生成對抗網絡由生成網絡和判別網絡兩個子網絡組成。采用數學傳弈的思想。生成網絡用于生成處實的圖像，而判別網絡則試圖將生成的圖像與真實勝圖像區分開。各網絡不斷對抗和優化，最終達到預期效果。

　　蟲成對抗柯絡雜結構如圖1所示。它由曳成網絡G和判別網絡￡>組成。將隨機變營^輸人生成網絡G，然后判別網絡fl判別輸人目標，并確定其基生成圖像3：是?圖像，生成網絡的結果是GU)生成網絡G使G⑴與真實圍像保持接近，直到判別網絡不能區分生成的內睿與_實內睿為止。此時，生成的網難和判別網絡之苘形成納什均衡。

　　在生成對抗網絡的訓練過程中，生成網絡和判別網絡不斷地進行迭代博弈，.最終對網絡進行優化。從圖2可以看出，：代表輸人數據^生成網絡C金成的結果為CU)，然后判別網絡￡?識別G⑴和真實圖鐔J，真實圖像的概率表示為Z)，當訓練達到納什均衡時，D(Z)=1/2。

　　在網絡優化過程中，首先是對判別網絡進行優化，目的是吏好地區分生成的圖像和真實圖像，即使判別網絡更加敏感，即使5U)最大化;其次，對于生成的圖像，需要最小化判別網絡處理后的iKCU))。因此，第一步的目標定義為maxr(G，D)=Ex_P^Jx)[%(DC*))]+E^IZ)[k(l-D(G{z)))](1)在優化生成網絡的過程中生成的圖像可以藎可能接近真實圖像，因此5(e(2))必須最大化，因此第二步的目標暈.immF(G，D)=Ez^t\s(l-D(D(z)))](2)難成對抗網絡的總體目梅是：mnipmsIObj(D，G)=Ex^pm4x)[lg(I)(2))]+A-P你[%(1-￡K只4))]I(3)

　　其中是真輿數據的概率分布，h：基生成數據的概率分布6GAN的訓練過程如圖2所示。它實際上是一個生成網絡和判別網絡相互對抗以實現最優解的過程。在這個過程中，需粟對兩個網絡進行優化，直到達到納什均衡。

　　1.2循環生成對抗網絡

　　衝壞生咸蹲抗網銀(GycltJ-Geraaatiw?antiparial：Netw?k，Gycte-GAN)是基于思想，在輝域和目標域之間沒有對應關系齒情況下進行學每，然后變換圖像樣式。循環GAN可以先從源域轉換到目標域，再從目標域轉換到源域，利用這種方法實現圖像配對》。與GAN模型不同的是t生成網絡和判別網絡在對抗中相互博弈，優化模謹，使生成的圖像更接近，標圖像。猶環生：成對抗柯絡_結構如圖3所示。

　　在圖像樣式轉換中，利用循環一致性解決菌像轉換問題。在模型的判斷網絡部分，輸人原始圖像和生成的興像，判斷網絡對兩幅厲像進行判斷分同時，生成的圖像也會隨著目標圖像的不斷逼近，而不斷進行優化迭代。基于CyrleGAN的圖像樣式轉換可以將一幅圖像轉換為另一幅圖像，但生成的圖像質量不翕。■屬此，提出一神基于頓環生，成對ft網絡生成高屬^像的_畫像。圖像樣式轉換方法s

　　2高質量圖像樣式轉換算法2，1建立網絡

　　循環GAN結構僅利用殘差網絡迸行單尺度學習，提高訓練性能，限制網絡的學習功能。在U-Net網絡中，，采用跳層結構和殘差網絡相結合的方法。增加網絡的多尺度不變性4U-Net網絡模型采用完全卷積網絡結構，增加一個跳躍層結構，它可以將解碼前的特征映射和解碼后的特征映射按信道進行組合，也可以與傳統編碼相結合，有不同的結構。傳統的編碼結構是先下采樣，冉上采#到原始分辨率DU-Net以不同酌分辨率保存僙息^與傳統的編解碼結構相比，U-Net融合了網絡的高羅和低層結構信息，模型的分割精虔大大.高。U-Pfet分割模型中沒有使用全連接層，弁且網絡模型的輸入與輸出都是虜像，通常在卷積神12網絡的淺層的特征圖中包含圖像很多的位置信息、紋理信息等，在網絡深層的卷積特征囷包含的是.分割的抽象特征有利于像素分類。具有對稱結構的U-Net分割模感很好的繼承全卷積神經網絡模型的優勢，網絡模型的輸人圖像大小沒有局釀性，并麗具有M義分割獏型的端對瑞特點19]。因此IT-Net可以生成更食質量的圖像，改進效果_嘗明顯圖4暈傳統：的編碼結構，圖5犛U-Efct結構。

　　目前.，神婪網絡的層次越來越深，模型越來趙復雜，訓練和優化的難度越來越大。一般來說，深度模型越深，訓練效巣越好。但是，也會帶來很多問題，如訓練難度增加、模型梯度爆炸、梯度消失尋^在這些問題下，向網絡中掭加剩余塊可以防止這些問題的發產.。剩佘塊是具有跳轉結構的網絡，如圖6所示。

　　從圖6可K看隹是殘_塊的第一層的輸入值。在第一層線性變化和激活函數rdu后，輸出F(*)，然后在線性變化而不是激活函數后，)將該層的輸入值*枏加，然后激活并輸出s添加*的路徑稱為快捷連接。殘差網絡是T-種跳轉結構，茍以將前“個網絡的信息跳到下^個網絡，然啟傳遞給下一個網絡。確實，后面的網絡可?學習前面的信息，這種結構可以保護細綠整性。在U-Net網絡和殘差網絡的基礎上，提出一種綜合兩者優點的生.成結構網絡。與GAN標準的編解碼結構相比，這種生成網絡能夠保留更多的信息，生成的圖慘分鱗率更局。在U-Net網絡中，加人殘差塊，使網絡的信息容量更大，荸習能力更強，網絡可以在較低和較高的范圍內學習。改進的網絡結構如圖7所示。

　　2.2判別網絡構造

　　擴展卷積是it卷積核的數目保持不變，感受野的大小隨看擴展速率的增大而增大。擴張卷積圖如圖8所示。

　　展開卷積運箕仍然是很好的理解。圖8(0是：基本卷積核，而擴展卷積就是在這個基本卷積核上加一個區間5圖8(b)是圖S(a)3x3膨脹率為2的卷積，但間嗝為1，相當于7對應的圖像塊乘7。可以理解，內核大小B替變成7x7，但只;有9個點有參數，其佘位黧參數為〇，通過卷積計算輸入特怔?對應位：置的像素3跳過其條位置f圖8(c)和團：s(：b》相似，只是：tr張率為4，相當于變成15x15卷積核。當卷積核變大時，感受也自然會變大;RF^RF^+ik-^xs(4)其中，是上層的感.受野^是卷積核的大小，s是歩長S具有大感受野.的判別網絡具有較高的分辨率，能夠準確地區分輸人數琚是生成數據坯是冥實數塘。為提高分辨率，一種方法是使用較深的網絡，另一種方法魯.倭角較太的卷積核，但這兩種方法容易過擬合，占用較多的內存。為解決遂一狗題，采用不同的K度訓練多個鑒別器來判斷圖像?真實性a多尺度JI理圖如圖9所示。

　　提出的判別網絡在多尺度：上實現了擴張卷積，即在不同尺庋上便用不同的擴張系數來獲取更多的信息9這種網絡可以預測更大范圍的數據，生成高分辨率的固像，具有更好的效果。改進的鑒別器網絡錯構如圖10所示。轉文提出的：纖性_集生成實驗中，選取1800張圖片作為訓練集，200張圖片作為測試集，圖片大小為1024x768，設置了100個歷元，弁對圖像進行訓練^

　　3結果3.1實驗結果

　　圖11(?)是原始圖像，圖11(b)羞性別轉換后的圖像。從圍屮可以看出，使用本文設計的生成對抗網絡后生成的圖像具有明顯的性別轉換。

　　3.2實驗比較

　　為對提出的模灌方法進行評價，采用初始得分(?Jiephet初始距蘺(;FID)和AMT知覺研究XA獅-ztai-MeAiiniciil-m知覺研究)測試進彳才歲量評價。初始分數暴一f評價指標，它與生成圖片的質量和多樣性吏相關，但分數較_的圖片實扉上是銳利多樣的圖片，而不是生成圖片與真實圖片的關系。分數越高，生成畫像的細節越多，質量越好。FID值是生成數據和實際：數掘德更接'近分布。AMTperpeptiQij：鄉eawh是在Amaz加費務平臺上發布《辨別_片真實性;’任務，對輸出圖片的真實性進行評估。任務參與者將查看配對的真實圖片，然后單擊以選擇認為是真實圖片的圖片^最后，對大家進行總結。實驗結果表明，這基評價圖像焉實性的金科玉律4數據評價結果見表1。

　　3.3訓練過程

　　圖12是本文提出的生成對抗網絡在訓練過程中的發虛器和判別損失變化曲線。生成器和鑒別器.的目的是相反的，即兩個生成器網絡和鑒別器網絡最相對的，一個互相交互。可見鑒別器的損耗曲線在下降，發電機的損耗曲線在上升，兩人一直_博弈。

　　4結束語

　　參照循環生成對抗網絡的結構，設計一個貢質曇的圖像樣式轉換網絡。棊于U網的跳層結構和殘差分塊原理，發電網絡利用跳層和殘差網絡增加多R廣差。判別網絡采用多尺度展開卷稅，提高空間幾何變換和高分辨率圖像ft成效果9實驗緒杲裹煙，該算法在圖像風格轉換方兩有較理想的效果，并能保證圖像風格轉換的質量。