keras如何實現圖像風格轉換 -

keras如何實現圖像風格轉換 -，很多新手對此不是很清楚，為了幫助大家解決這個難題，下面小編將為大家詳細講解，有這方面需求的人可以來學習下，希望你能有所收獲。

前言

說到深度學習的應用，第一個想到的就是Prisma App的圖像風格轉換。既然感興趣就直接開始干，讀了論文，一知半解；看了別人的源碼，才算大概了解的具體的實現，也驚嘆別人的奇思妙想。

1. 論文可以參考【A Neural Algorithm of Artistic Style】，網上也有中文的版本。

   http://arxiv.org/abs/1508.06576

2. 使用的工具：py34、keras1.1.2、theano0.8.2、GeForce GT 740M (CNMeM is disabled, cuDNN not available)。

實現原理

1. 總流程

• 實現流程如下，可以看到這里總共分為5層，本次實驗使用vgg16模型實現的。
  

• 如上，a有個別名是conv1_1，b是conv2_1，依次類推，c，d，e對應conv3_1，conv4_1，conv5_1；輸入圖片有風格圖片style image和內容圖片content image，輸出的是就是合成圖片，然后用合成圖片為指導訓練，但是訓練的對象不像是普通的神經網絡那樣訓練權值w和偏置項b，而是訓練合成圖片上的像素點，以達到損失函數不斷減少的效果。論文使用的是隨機的噪聲像素圖為初始合成圖，但是使用原始圖片會快一點。

  
  

2. 內容損失函數 - Content Loss

• 下面是content loss函數的定義。
  

• l代表第l層的特征表示，p是原始圖片，x是生成圖片。公式的含義就是對于每一層，原始圖片生成特征圖和生成圖片的特征圖的一一對應做平方差。

3. 風格損失函數 - style loss

• 在定義風格損失函數之前首先定義一個Gram矩陣。
  

• F是生成圖片的特征圖。上面式子的含義：Gram第i行，第j列的數值等于把生成圖在第l層的第i個特征圖與第j個特征圖分別拉成一維后相乘求和。
  

• 上面是風格損失函數，Nl是指生成圖的特征圖數量，Ml是圖片寬乘高。a是指風格圖片，x是指生成圖片。G是生成圖的Gram矩陣，A是風格圖的Gram矩陣，wl是權重。

4. 總損失

• 總損失函數如下，alpha與beta比例為1*10^-3或更小。
  

代碼講解

1. 圖片預處理和還原

2. content loss

3. style loss

結果

1. 可以看出效果每一代都有進步，因為自己的顯卡渣，跑一代估計要1.5個小時，自己測試的時候總共跑了14個小時，不過這里有個技巧，就是可以把上一代的圖片繼續做輸入，這樣中途有什么事就可以停止。下次只要把上次輸出的圖片當輸入就可以。

2. vgg16模型加載原項目的權值。

3. 具體項目代碼可見githua上的代碼、權值文件和測試圖片，因為中途修改過，可能有些地方需要改過來，不過代碼比較簡單，估計很快就可以找到問題了。

看完上述內容是否對您有幫助呢？如果還想對相關知識有進一步的了解或閱讀更多相關文章，請關注億速云行業資訊頻道，感謝您對億速云的支持。