融合主題化表達(dá)的專(zhuān)利分類(lèi)方法研究
【文章頁(yè)數(shù)】:83 頁(yè)
【學(xué)位級(jí)別】:碩士
【部分圖文】:
圖1.1融合主題化表達(dá)的專(zhuān)利分類(lèi)模型流程圖
專(zhuān)利分類(lèi)模型(T-BiGRU-ATT模型),該模型能夠?qū)?zhuān)利的文本特征與主題化表達(dá)相結(jié)合用于專(zhuān)利分類(lèi)。該模型針對(duì)現(xiàn)有深度學(xué)習(xí)方法語(yǔ)義信息丟失的問(wèn)題,在專(zhuān)利文本編碼過(guò)程中通過(guò)使用BiGRU以及多頭注意力機(jī)制捕捉到專(zhuān)利文本中的長(zhǎng)依賴關(guān)系,并對(duì)專(zhuān)利文本中的重要信息進(jìn)行加權(quán)以獲取專(zhuān)利文本....
圖2.4GRU細(xì)胞結(jié)構(gòu)圖
河北工業(yè)大學(xué)碩士學(xué)位論文-15-根據(jù)E步中得到的兩個(gè)變分參數(shù),,求L,|,的極大值,估算模型參數(shù)和。將得到的參數(shù)帶入E步中,重復(fù)EM步驟。2.5深度學(xué)習(xí)相關(guān)技術(shù)2.5.1GRU模型門(mén)控循環(huán)神經(jīng)網(wǎng)絡(luò)(GatedRecurrentUnit,GRU)[38]是一種基于長(zhǎng)短期記憶神經(jīng)網(wǎng)絡(luò)....
圖2.5BiGRU模型結(jié)構(gòu)圖
融合主題化表達(dá)的專(zhuān)利分類(lèi)方法研究-16-1([,])trttrWhx(2.11)1([,])tzttzWhx(2.12)1tanh([,])thttthWrhx(2.13)1(1)ttttthzhzh(2.14)()totyWh(2.15)2.5.2BiGRU模型雙向GRU模型(....
圖2.6自注意力機(jī)制框架圖
河北工業(yè)大學(xué)碩士學(xué)位論文-17-定義了三個(gè)變量V、K、Q。其中,V代表被注意到的數(shù)據(jù)向量;Q代表執(zhí)行一次注意力計(jì)算時(shí)的查詢,來(lái)自于上一時(shí)刻的解碼器輸出;K代表用來(lái)與Q進(jìn)行相似度計(jì)算時(shí)作為注意力機(jī)制選取的依據(jù),一般K與V相對(duì)應(yīng)。自注意力機(jī)制的框架如圖2.6所示。圖2.6自注意力機(jī)制....
本文編號(hào):4053256
本文鏈接:http://www.lk138.cn/tushudanganlunwen/4053256.html