頻繁的磁盤I/O操作導(dǎo)致多線程Web圖像搜索器的性能顯著下降,為此提出一種磁盤I/O緩沖方法,它包括待采URL的雙隊(duì)列緩沖和圖像存儲與URL存儲中的循環(huán)緩沖池等2種措施.在URL待采隊(duì)列中采用雙隊(duì)列緩沖,當(dāng)其中一個隊(duì)列處于使用狀態(tài)時(shí),另一隊(duì)列執(zhí)行從磁盤讀取新URL的操作,使得各個線程可以不間斷地獲取URL.2個循環(huán)緩沖池分別用于圖像和URL磁盤存儲操作中,其工作原理相同.實(shí)驗(yàn)結(jié)果顯示,磁盤I/O緩沖方法顯著改善了多線程Web圖像搜索器的性能. 

【文章來源】：鄭州大學(xué)學(xué)報(bào)(理學(xué)版). 2010年01期 第33-37頁 北大核心

【文章頁數(shù)】：5 頁

【部分圖文】：

具有磁盤I/O緩沖的多線程Web圖像搜索器結(jié)構(gòu)

URL待采隊(duì)列的作用是保證線程之間不重復(fù)搜集互聯(lián)網(wǎng)上的頁面以及系統(tǒng)的并行性.URL待采隊(duì)列采用雙緩沖隊(duì)列結(jié)構(gòu),即它有2個相同的隊(duì)列,Q1和Q2.圖2是URL待采隊(duì)列的4個工作狀態(tài)圖.圖2(a)表示多線程Web圖像搜索器剛啟動時(shí)URL待采隊(duì)列的狀態(tài).此時(shí)Q1首先從URL索引數(shù)據(jù)庫中讀取待訪問的URL供各個線程到網(wǎng)上采集,當(dāng)前指針C指向Q1.各個線程對Q1是互斥訪問的,從而避免了重復(fù)搜集.一個線程訪問Q1結(jié)束后,該指針C要向后移動一位,直到將Q1讀空為止.圖2(b)表示在各個線程讀取Q1的同時(shí),系統(tǒng)從URL索引數(shù)據(jù)庫中讀取待訪問的URL并存入Q2隊(duì)列中,直到Q2隊(duì)滿.圖2(c)表示當(dāng)Q1隊(duì)空后,系統(tǒng)立即將當(dāng)前指針C指向Q2隊(duì)列的隊(duì)頭


本文編號：2896683