機(jī)器學(xué)習(xí)算法離不開數(shù)據(jù)。隨著數(shù)據(jù)的爆炸式增長(zhǎng),單臺(tái)機(jī)器無(wú)法分析如此大規(guī)模的數(shù)據(jù)。同時(shí),在某些場(chǎng)景中,數(shù)據(jù)本身分布式地存儲(chǔ)在不同的設(shè)備中,由于隱私問(wèn)題,無(wú)法將這類數(shù)據(jù)收集到某個(gè)設(shè)備集中處理�；谏鲜鲈�,許多學(xué)者提出了分布式機(jī)器學(xué)習(xí)算法。在這些算法中,數(shù)據(jù)可以分布在多臺(tái)機(jī)器中,這些機(jī)器可以通過(guò)某種方式實(shí)現(xiàn)信息的交換,從而可以協(xié)同合作地學(xué)習(xí)一個(gè)更加強(qiáng)大有效的模型。傳統(tǒng)的分布式機(jī)器學(xué)習(xí)假設(shè)每個(gè)計(jì)算節(jié)點(diǎn)都是可靠的,然而在實(shí)際應(yīng)用問(wèn)題中并非如此。一些計(jì)算節(jié)點(diǎn)可能因?yàn)樵獾搅藧阂夤艋虼鄹?或者因?yàn)闄C(jī)器本身的故障或數(shù)據(jù)錯(cuò)誤,會(huì)發(fā)送錯(cuò)誤信息給中心節(jié)點(diǎn),從而導(dǎo)致模型訓(xùn)練失敗。相關(guān)研究把這些發(fā)送錯(cuò)誤信息給中心節(jié)點(diǎn)的計(jì)算節(jié)點(diǎn)稱為拜占庭節(jié)點(diǎn),存在拜占庭節(jié)點(diǎn)的分布式計(jì)算模型稱為拜占庭錯(cuò)誤模型。本文主要研究在拜占庭錯(cuò)誤模型下的分布式的魯棒優(yōu)化算法。在master-worker結(jié)構(gòu)中,假設(shè)一部分計(jì)算節(jié)點(diǎn)是拜占庭節(jié)點(diǎn)。在訓(xùn)練模型的過(guò)程中,由于數(shù)據(jù)損壞、通信錯(cuò)誤或者惡意攻擊,拜占庭節(jié)點(diǎn)在每次通信會(huì)發(fā)送任意的錯(cuò)誤信息給中心節(jié)點(diǎn),從而破壞模型的協(xié)同訓(xùn)練。針對(duì)機(jī)器學(xué)習(xí)領(lǐng)域常見的隨機(jī)優(yōu)化問(wèn)題,本文提出了一種能夠抵抗拜占庭攻擊的...

【文章頁(yè)數(shù)】：57 頁(yè)

【學(xué)位級(jí)別】：碩士

【部分圖文】：

圖３．１隨機(jī)梯度下降算法的步驟圖示??？＝－■

?第３章基于模型聚合的拜占庭魯棒優(yōu)化算法???Ｍａｓｔｅｒ??Ｗｏｒｋｅｒ?…丨，＜?Ｍ??１—￣，，一－￣＾￣￣＊＊￣＞＿、?＾￣￣Ｉ?、??Ｔ?ｒｉ?Ｔ＾－ｐ＾??■?ｄａｔａｔ?？?？?？?！?ｄａｔＯｆ．?＼?？?ｄａｍｒ＾ｉ＼?？?？?？?ｉ?ｄａｔａｍ??１?…?ｒ?....

圖３．２?ＲＳＡ的步驟圖示??？－？

的迭代值ｘｇ；??８根據(jù)式子（３．９）或者式子（３．１２）更新本地迭代值。??Ｍａｓｔｅｒ??Ｗｏｒｋｅｒ?…?Ｓｊ?…Ｎ??￣：！?￣?—?—?＾—．．???：?．?卜￣?一＾?——－—－Ｉ??????ｄａｔ〇ｉ?；?ｄａｔｃｔｒ?＼?ｄａｔａｒ＾ｘ＼?？?？?？?ｄａｔａｍ?....

圖３．５髙斯攻擊下Ｔｏｐ＊ｌ準(zhǔn)確率（ａ）ｇ?＝?４?（ｂｈ?＝?８??

?ｉ．?？?ＧｅｏＭｄｅ?ｏ．０－４?？?ＧｅｏＭｄｅ??°?０?４?Ｋｒｕｍ?°?▼－▼?Ｋｒｕｍ??０．３?會(huì)，，Ｍｅｄｉａｎ?〇?２?？－？Ｍｅｄｉａｎ??〇２?＾?ＲＳＡ?．會(huì)……ＲＳＡ??？－？ＳＧＤ?？－？ＳＧＤ??°?１０００?２０００?３０００?４０００?５０００....

圖３．６常數(shù)向量攻擊下Ｔｏｐ－１準(zhǔn)確率（ａ）?９?＝?４?（ｂｈ?＝?８??

?ｉ．?？?ＧｅｏＭｄｅ?ｏ．０－４?？?ＧｅｏＭｄｅ??°?０?４?Ｋｒｕｍ?°?▼－▼?Ｋｒｕｍ??０．３?會(huì)，，Ｍｅｄｉａｎ?〇?２?？－？Ｍｅｄｉａｎ??〇２?＾?ＲＳＡ?．會(huì)……ＲＳＡ??？－？ＳＧＤ?？－？ＳＧＤ??°?１０００?２０００?３０００?４０００?５０００....

本文編號(hào)：3996347