0 引言

    隨著深度學(xué)習(xí)的飛速發(fā)展，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被越來(lái)越多地應(yīng)用于各個(gè)領(lǐng)域，如圖像識(shí)別^[1-2]和目標(biāo)檢測(cè)^[3-4]。然而，隨著應(yīng)用要求的提高，CNN的結(jié)構(gòu)越來(lái)越深，導(dǎo)致其對(duì)于計(jì)算力和內(nèi)存的需求大大提高。同時(shí)由于移動(dòng)端設(shè)備的飛速發(fā)展，設(shè)備小型化的需求和市場(chǎng)不斷擴(kuò)大，將CNN應(yīng)用到小型移動(dòng)端設(shè)備的需求也隨之增加。然而，受限于電源、內(nèi)存及功耗，移動(dòng)端平臺(tái)無(wú)法滿足高性能CNN對(duì)于硬件性能、功耗及內(nèi)存的要求，因此優(yōu)化CNN模型從而降低其對(duì)于計(jì)算資源的要求非常必要^[5]。

    CNN權(quán)值量化是目前一種主流的CNN模型優(yōu)化方法，而三值量化其中一種能夠?qū)?quán)值由32位量化到2位（0，±α）從而達(dá)到16倍壓縮比的低位量化方法。自從2016年三值化網(wǎng)絡(luò)被LI F等人提出以來(lái)^[6]，其方法不斷改進(jìn)，性能不斷提高。其中MELLEMPUDI N等人于2017年提出的細(xì)粒度三值化網(wǎng)絡(luò)^[7]，將激活函數(shù)量化到8或4位，將權(quán)重量化至2位，將每N個(gè)權(quán)值分為一個(gè)組，分組量化，兩組之間相互獨(dú)立，其中N=2，4，8，16，…。該方法主要通過(guò)嘗試不同的分組和暴力搜索解空間以及二次訓(xùn)練的方式得到最優(yōu)解，但相比原精度的32位卷積網(wǎng)絡(luò)仍有較大性能差距。目前的三值量化網(wǎng)絡(luò)性能不佳的其中一個(gè)問(wèn)題在于都使用對(duì)稱均勻量化操作，只考慮了單個(gè)權(quán)值的量化，忽視了相鄰權(quán)值量化之間的相互關(guān)系，量化噪音直接相互累加，導(dǎo)致每一層網(wǎng)絡(luò)的噪聲積累過(guò)高，使得量化模型的預(yù)測(cè)準(zhǔn)確率有極大的下降。

    針對(duì)此問(wèn)題，本文提出一種新的CNN模型三值量化算法，基于權(quán)值交互思想，在同一卷積核內(nèi)，將先前量化產(chǎn)生的積累噪聲作為一個(gè)負(fù)變量加入到下一個(gè)權(quán)值的量化操作中，使得對(duì)下一個(gè)權(quán)值朝著能減小積累噪聲的方向進(jìn)行量化。然后，通過(guò)層級(jí)貪婪搜索算法逐層搜索局部最優(yōu)解，得到效果近似最優(yōu)解的優(yōu)化解，降低搜索算法復(fù)雜度，極大減少搜索所需時(shí)間。實(shí)驗(yàn)證明，相比于其他使用對(duì)稱均勻量化操作的算法，本文的算法極大地減小了由于量化操作導(dǎo)致的模型預(yù)測(cè)準(zhǔn)確率的損失。

本文詳細(xì)內(nèi)容請(qǐng)下載:http://www.rjjo.cn/resource/share/2000003017

作者信息:

肖國(guó)麟，楊春玲，陳  宇

(哈爾濱工業(yè)大學(xué) 電氣工程及自動(dòng)化學(xué)院，黑龍江 哈爾濱150001)