碼迷,www.tparu.icu
吉利平特名人堂 > 編程語言 > 詳細

2019年70期平特一肖:機器學習算法 之DCGAN

時間:2019-05-23 18:26:57      閱讀:12      評論:0      收藏:0      [點我收藏+]

吉利平特名人堂 www.tparu.icu 標簽:根據   圖片   第一個   isp   復雜   png   并且   數據   logs   

技術圖片

1、基本介紹

  • DCGAN是生成對抗網絡GAN中一種常見的模型結構。其中的生成器和判別器都是神經網絡模型。

  • GAN是一種生成式對抗網絡,即通過對抗的方式,去學習數據分布的生成式模型。所謂的對抗,指的是生成網絡和判別網絡的互相對抗。生成網絡盡可能生成逼真樣本,判別網絡則盡可能去判別該樣本是真實樣本,還是生成的假樣本。

技術圖片

優化目標函數為:\[min_{G} max_{D} V(D,G) = min_{G} max_{D} E_{x~P_{data}(x)} [log D(x)] + E_{z~P_{z}(z)} [log(1-D(G(z)))] \]

  • GAN對噪聲Z的分布沒有特別要求,但是常用的有高斯分布、均勻分布。噪聲z的維數至少要達到數據流形的內在維數,才能產生足夠的diversity。

  • 對抗網絡可以認為是由一個生成模型Generator和一個判別模型Discriminator組成的,生成模型和判別模型都是使用的神經網絡的算法,比如感知機、卷積神經網絡等。更形象的表達是:

技術圖片

即通過“逆變換采樣”將高斯隨機變量變換成生成的概率分布。其中“逆變換采樣”通過概率生成模型實現。數據分布的形象表示請看:https://blog.csdn.net/wishchin/article/details/80580923 GAN原理部分。下圖為生成對抗網絡的漸變圖:

技術圖片

2、模型

  • DCGAN深度卷積生成對抗網絡:
    1、D網絡模型,使用的是帶步長的卷積取代池化層,進行下采樣。
    2、G網絡模型,使用?,進行上采樣。
    3、激活函數為Leaky ReLu
    4、使用Batch Normalization標準化

  • DCGAN的網絡結構為:

技術圖片

其中,G是生成模型,D是判別模型。Z是噪聲,為生成模型G的輸入,可以是高斯噪聲,也可以是均勻噪聲。
整個流程為:首先噪聲數據輸入到生成模型G中,生成假樣本,和真實樣本一起輸入到判別模型D中,D會盡量地將其中的生成樣本識別出來,而生成模型G會盡量使生成的樣本不被識別出來,因此兩者是一個博弈的過程。最終得生成樣本會逐漸地貼近真實數據,從而完成了新數據的生成。
  • 生成模型:使用卷積神經網絡,除了最終輸出層使用tanh,其他都使用Relu。目標是最小化判別模型D的判別準確率。
  • 判別模型:使用卷積神經網絡,都使用Leaky Relu。目標是最大化判別模型D的判別準確率。

  • CNN卷積神經網絡:是一種專門用來處理具有類似網格結構的數據的神經網絡。例如時間序列數據(在時間軸上有規律地進行采樣形成的一維網格)和圖像數據(二維像素網格)。單個神經元和整個神經網絡結構如下圖:多個輸入,一個輸出,第一個叫輸入層,最后一個叫輸出層,中間叫隱藏層。
    • 輸入層:眾多神經元接受大量非線性輸入信息,稱為輸入向量(x1,x2,...,xn)‘?!允萁性ご?,去均值等
    • 輸出層:信息在神經元連接中傳輸、分析、權衡,形成輸出結果,輸出信息稱為輸出向量y?!?/li>
    • 隱藏層,是輸入層和輸出層之間眾多神經元鏈接組成的各個層面。如果有多個隱藏層,則意味著多個激活函數?!砘撲悴?,激勵層(ReLU),池化層(取最大)。
      技術圖片
      技術圖片
      技術圖片
      技術圖片
卷積的作用:
(1)原始圖像通過與卷積核的數學運算,可以提取出圖像的某些指定特征(features)。

(2)不同卷積核,提取的特征也是不一樣的。

(3)提取的特征一樣,不同的卷積核,效果也不一樣。
  • 生成模型和判別模型的實質:我們知道,機器學習的任務是從屬性X預測標記Y,即求概率P(Y|X)。
    • 對于判別模型,輸入新數據X,根據P(Y|X)可以直接判別出來,實際上就是直接得到了判別邊界,如下圖左所示。判別式模型包括機器學習中的線性回歸模型,支持向量機SVM,神經網絡等。對于二分類,是指上是得到一個[0,1]之間的score,然后通過設定的閾值判定為正類還是反類。
    • 對于生成模型,輸入新數據X和上一個輸出Y,我們會求出他們的聯合分布P(X, Y),然后通過貝葉斯公式\(P(Y|X) = \frac{P(X|Y)P(Y)}{P(X)}\),可得\(P(X,Y) = P(Y|X)P(X)\) ,相當于求出X與不同標記之間的聯合概率分布,然后聯合概率大的獲勝,如下圖右方。生成式模型包括隱馬爾科夫模型、樸素貝葉斯模型、高斯混合模型GMM、LDA等。

技術圖片

  • DCGAN使用CNN結構穩定GAN的訓練,相關方式:

    • Batch Normalization(批處理標準化,即對每層都進行標準化):批標準化,是將分散數據統一的做法。其是優化神經網絡的一種做法,因為具有統一規格的數據,能讓機器學習更容易學習到數據之中的規律。

    • 使用Transpose convlution進行上采樣:轉置卷積上采樣,是神經網絡生成圖像時,從低分辨率到高分辨率的上采樣方法,轉置卷積能夠讓神經網絡學會如何以最佳方式進行上采樣。(最近鄰插值)

    • 使用Leaky ReLu作為激活函數:神經網絡中每層網絡結構輸入到輸出的映射,稱為激活函數(一般為非線性函數)。正是由于這些非線性函數的反復疊加,才使得神經網絡有足夠的capacity來抓取復雜的pattern。Leaky ReLU = max(0.01x ,x),計算速度快,解決了梯度消失的問題,輸出均值接近0。

  • 層級結構的GAN通過逐層次、分階段進行生成,一步步提高圖像的分辨率。例如,層級結構StackGAN,階段結構ProgressiveGAN。

技術圖片

  • 自編碼結構:
    • 在GAN結構中,判別網絡通常是一種區分真實/生成樣本的概率。
    • 在自編碼器結構里面,判別器使用VAE作為判別器,通常被當做能量函數,AE的loss:\[D(u) = || u - AE(u) ||\] 是一個重構誤差。如果輸入生成的樣本,其重構誤差會很大;如果輸入真實樣本,其重構誤差會很小。
  • GAN的目標函數可以是最小化兩個分布的JS散度,也可以是其他衡量兩個分布距離,不同的距離度量方式可以得到不同的目標函數,從而改進GAN訓練的穩定性。

3、優缺點/其他

  • 很難取學習生成離散的數據,例如,文本。
  • GAN的擴展:DCGAN,InfoGAN,AC-GAN,WGAN(GAN的改進版)
  • DCGAN主要用于在圖片中的生成模型。
  • GAN:優化的目標函數是兩個分布上的Jensen-Shannon距離,但這個距離有這樣一個問題,如果兩個分布的樣本空間并不完全重合,這個距離是無法定義的。并且“真實分布與生成分布的樣本空間并不完全重合”是一個極大概率事件。WGAN,使用Wasserstein距離代替Jensen-Shannon距離。
  • GAN的應用:按文本生成圖像、提高圖片分辨率、藥物匹配、檢索特定的模式的圖片。https://www.jiqizhixin.com/articles/2017-08-23-6
    • 藥物匹配:目標是訓練生成器,以盡可能精確地從一個藥物數據庫中對現有藥物進行按病取藥的操作。經過訓練后,可以使用生成器獲得一種以前不可治愈的疾病的藥方,并使用判別器確定生成的藥方是否治愈了特定疾病。

參考

參考:GAN-Overview pdf文檔

參考:機器學習大牛:批標準化理解 https://zhuanlan.zhihu.com/p/24810318

參考:AI研習社:Transpose convlution上采樣 https://ai.yanxishe.com/page/TextTranslation/856

參考:https://zhuanlan.zhihu.com/p/25110450

參考:生成式模型和判別式模型://www.cnblogs.com/fanyabo/p/4067295.html

參考:https://www.zhihu.com/question/20446337

參考:《深度學習》- 《Deep Learning》

參考:CNN卷積神經網絡:https://blog.csdn.net/v_JULY_v/article/details/51812459

參考:GAN原理的形象表示:https://blog.csdn.net/wishchin/article/details/80580923

參考:激活函數:https://zhuanlan.zhihu.com/p/25110450(Sigmoid函數,,tanh函數,ReLU函數,Leaky ReLU函數)

機器學習算法 之DCGAN

標簽:根據   圖片   第一個   isp   復雜   png   并且   數據   logs   

原文地址:https://www.cnblogs.com/hugechuanqi/p/10913542.html

(0)
(0)
   
舉報
評論 一句話評論(0
0條  
登錄后才能評論!
? 2014 吉利平特名人堂 版權所有 京ICP備13008772號-2
迷上了代碼!
新疆时时玩法和技巧 上海时时开奖结果查询结果 河内5分彩计划软件宝典 北京pk10官网开奖直播 快三大小单双稳赚技巧我来教教你诀窍 龙虎和赌博是骗局吗 龙虎计划软件 比分直播500 快乐10分任5中奖多少钱 北京pk拾冠军杀号技巧 彩票走势图 大赢家 加拿大pc28软件 斗牛看牌抢庄技巧攻略 今晚七星彩开奖号码是 球探体育比分免费下载 稳赚不赔投注法