卷積神經(jīng)網(wǎng)絡(luò)在圖像分類領(lǐng)域應(yīng)用越來(lái)越廣泛,網(wǎng)絡(luò)規(guī)模逐漸增大,有限的乘法器資源和片上存儲(chǔ)空間難以滿足卷積網(wǎng)絡(luò)計(jì)算高并行性和日益增多的浮點(diǎn)數(shù)權(quán)重存儲(chǔ)需求。二值卷積神經(jīng)網(wǎng)絡(luò)是一種量化的卷積神經(jīng)網(wǎng)絡(luò),權(quán)重量化為+1或-1使得卷積計(jì)算時(shí)可以避免乘法運(yùn)算,并且二值化權(quán)重使用1 bit表示,有效降低了權(quán)重參數(shù)存儲(chǔ)空間需求。本文重點(diǎn)研究二值卷積神經(jīng)網(wǎng)絡(luò)及其加速器VLSI架構(gòu)的設(shè)計(jì),充分利用二值卷積神經(jīng)網(wǎng)絡(luò)的特性,設(shè)計(jì)低功耗、高并行、高能效二值卷積網(wǎng)絡(luò)加速器,完成邏輯綜合、布局布線以及板級(jí)驗(yàn)證。本文主要工作如下:(1)設(shè)計(jì)了一種二值編碼激活函數(shù),在前向傳播過(guò)程中使用同或和比較運(yùn)算替換中間BN層的乘法運(yùn)算,從而減少了乘法運(yùn)算次數(shù),同時(shí)在全二值卷積層將中間特征圖數(shù)據(jù)量化為整數(shù),降低了中間特征圖存儲(chǔ)需求。(2)基于二值圖片輸入,設(shè)計(jì)了一種BNET-6網(wǎng)絡(luò)加速器,使用脈動(dòng)數(shù)據(jù)流和層間流水線提高計(jì)算并行度。使用二值編碼激活函數(shù),中間特征圖存儲(chǔ)減少72%。在 120 MHz 時(shí),FPS 為 23080@28×28,推理 MNIST 測(cè)試集精度降低 0.13%。根據(jù)在VC707 FPGA芯片上的實(shí)現(xiàn)結(jié)果,片上功耗為0...

【文章頁(yè)數(shù)】：90 頁(yè)

【學(xué)位級(jí)別】：碩士

【文章目錄】：
摘要
ABSTRACT
第1章 緒論
    1.1 研究背景和意義
    1.2 卷積神經(jīng)網(wǎng)絡(luò)及二值化現(xiàn)狀
        1.2.1 卷積神經(jīng)網(wǎng)絡(luò)背景
        1.2.2 卷積神經(jīng)網(wǎng)絡(luò)優(yōu)化方法
        1.2.3 卷積網(wǎng)絡(luò)的二值化
    1.3 卷積及二值化硬件加速現(xiàn)狀
        1.3.1 浮點(diǎn)卷積硬件加速
        1.3.2 定點(diǎn)卷積硬件加速
        1.3.3 二值卷積硬件加速
    1.4 主要工作與內(nèi)容安排
        1.4.1 主要工作
        1.4.2 內(nèi)容安排
第2章 卷積神經(jīng)網(wǎng)絡(luò)及二值化
    2.1 卷積神經(jīng)網(wǎng)絡(luò)基礎(chǔ)
        2.1.1 卷積計(jì)算
        2.1.2 池化計(jì)算
        2.1.3 全連接計(jì)算
        2.1.4 激活函數(shù)計(jì)算
        2.1.5 批量歸一化計(jì)算
        2.1.6 輸入特征圖填充
        2.1.7 前向傳播與反向傳播
    2.2 二值卷積神經(jīng)網(wǎng)絡(luò)
        2.2.1 二值卷積層
        2.2.2 二值卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練
    2.3 二值卷積硬件加速計(jì)算轉(zhuǎn)換
        2.3.1 乘累加轉(zhuǎn)同或累加
        2.3.2 二值卷積計(jì)算簡(jiǎn)化
    2.4 本章小結(jié)
第3章 脈動(dòng)二值卷積網(wǎng)絡(luò)加速器設(shè)計(jì)
    3.1 BNET-6網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)
    3.2 脈動(dòng)數(shù)據(jù)流工作方式
    3.3 BNET-6加速器架構(gòu)
        3.3.1 流水線結(jié)構(gòu)
        3.3.2 脈動(dòng)陣列結(jié)構(gòu)
        3.3.3 脈動(dòng)陣列計(jì)算單元
        3.3.4 二值編碼激活函數(shù)結(jié)構(gòu)
        3.3.5 最大值池化單元結(jié)構(gòu)
    3.4 BNET-6網(wǎng)絡(luò)仿真
        3.4.1 MNIST數(shù)據(jù)集
        3.4.2 BNET-6加速器行為級(jí)仿真結(jié)果
        3.4.3 BNET-6網(wǎng)絡(luò)軟件平臺(tái)仿真結(jié)果
    3.5 BNET-6加速器性能與資源使用
    3.6 本章小結(jié)
第4章 層間并行二值卷積加速器設(shè)計(jì)
    4.1 BNET-12網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)
    4.2 浮點(diǎn)數(shù)定點(diǎn)化原理
    4.3 BNET-12加速器架構(gòu)
        4.3.1 輸入輸出特征圖對(duì)應(yīng)關(guān)系
        4.3.2 層間流水線結(jié)構(gòu)
        4.3.3 BNET-12加速器卷積單元
        4.3.4 卷積單元內(nèi)部計(jì)算模塊
        4.3.5 三行輸入特征圖緩存結(jié)構(gòu)
        4.3.6 全連接層計(jì)算結(jié)構(gòu)
        4.3.7 二值編碼激活函數(shù)結(jié)構(gòu)Ⅱ
        4.3.8 BNET-12加速器池化結(jié)構(gòu)
    4.4 BNET-12網(wǎng)絡(luò)仿真
        4.4.1 SVHN數(shù)據(jù)集和Cifar10數(shù)據(jù)集
        4.4.2 SVHN的BNET-12加速器行為級(jí)仿真
        4.4.3 SVHN的BNET-12網(wǎng)絡(luò)軟件仿真
        4.4.4 Cifar10的BNET-12加速器行為級(jí)仿真
        4.4.5 Cifar10的BNET-12網(wǎng)絡(luò)軟件仿真
    4.5 BNET-12加速器性能和資源使用
    4.6 本章小結(jié)
第5章 可重構(gòu)陣列二值卷積加速器設(shè)計(jì)
    5.1 BNET-5網(wǎng)絡(luò)結(jié)構(gòu)和參數(shù)
    5.2 可重構(gòu)脈動(dòng)陣列結(jié)構(gòu)
        5.2.1 可重構(gòu)脈動(dòng)陣列工作模式一
        5.2.2 可重構(gòu)脈動(dòng)陣列工作模式二
        5.2.3 可重構(gòu)脈動(dòng)陣列工作模式三
        5.2.4 可重構(gòu)脈動(dòng)陣列工作模式四
    5.3 可重構(gòu)陣列BNET-5加速器設(shè)計(jì)
        5.3.1 BNET-5加速器總體架構(gòu)
        5.3.2 BNET-5網(wǎng)絡(luò)與可重構(gòu)陣列的映射
        5.3.3 BNET-5加速器工作狀態(tài)轉(zhuǎn)換
        5.3.4 可重構(gòu)陣列計(jì)算單元
        5.3.5 BNET-5加速器二值化模塊
    5.4 BNET-5網(wǎng)絡(luò)仿真
        5.4.1 BNET-5加速器行為級(jí)仿真結(jié)果
        5.4.2 BNET-5網(wǎng)絡(luò)的軟件平臺(tái)仿真結(jié)果
    5.5 BNET-5加速器資源使用與分析
    5.6 本章小結(jié)
第6章 實(shí)驗(yàn)與評(píng)估
    6.1 實(shí)驗(yàn)環(huán)境
        6.1.1 服務(wù)器平臺(tái)
        6.1.2 硬件架構(gòu)設(shè)計(jì)平臺(tái)
    6.2 實(shí)驗(yàn)流程
    6.3 實(shí)驗(yàn)結(jié)果評(píng)估
        6.3.1 BNET-6加速器仿真驗(yàn)證結(jié)果
        6.3.2 BNET-12加速器仿真驗(yàn)證結(jié)果
        6.3.3 BNET-5加速器仿真驗(yàn)證結(jié)果
        6.3.4 邏輯綜合實(shí)驗(yàn)結(jié)果
    6.4 本章小結(jié)
第7章 總結(jié)與展望
    7.1 總結(jié)
    7.2 展望
參考文獻(xiàn)
致謝
在讀期間發(fā)表的學(xué)術(shù)論文與取得的其他研究成果



本文編號(hào)：4004691