在如今快速競爭的商業(yè)環(huán)境中,用戶更傾向于使用最新的數(shù)據(jù)完成商業(yè)分析,因此實時ETL(Extract-Transform-Load)被提出以解決實時分析的需求。如今,實時ETL相關(guān)的研究層出不窮,但提出的解決方案中都沒有考慮到數(shù)據(jù)的動態(tài)性。在很多實際場景中,數(shù)據(jù)源的數(shù)據(jù)生產(chǎn)速度隨著時間波動且波動區(qū)間較廣。在實時ETL系統(tǒng)中,ETL過程為常駐應(yīng)用程序,如果能夠在ETL過程運行時彈性調(diào)整ETL過程的資源,則有利于提高系統(tǒng)整體的資源利用率。因此,本文深入探討了數(shù)據(jù)波動較大的場景下,關(guān)于實時ETL彈性調(diào)度機制的研究。本文主要工作分為兩部分:一是單個用戶的多個ETL過程彈性調(diào)度機制的研究;二是單個ETL過程彈性調(diào)度機制的研究。在單個用戶的多個ETL過程彈性調(diào)度方面,本文首先構(gòu)建了基于歷史數(shù)據(jù)的時間序列預(yù)測模型用于預(yù)測ETL過程未來的數(shù)據(jù)生產(chǎn)速度;然后,根據(jù)各個ETL過程提交的資源清單,提出基于緊迫度的動態(tài)調(diào)度算法,用來調(diào)整單個用戶多個ETL過程的資源。在單個ETL過程彈性調(diào)度方面,本文首先根據(jù)各個服務(wù)器負載情況,提出貪婪負載均衡算法,保證單個ETL過程調(diào)度資源時各個服務(wù)器負載能夠均衡;然后,提出基于...

【文章頁數(shù)】：63 頁

【學(xué)位級別】：碩士

【部分圖文】：

圖 2.1 ETL 發(fā)展歷程1

武漢科技大學(xué)碩士學(xué)位論文7第2章基本理論與相關(guān)知識2.1實時ETL概念如今，快速的商業(yè)競爭導(dǎo)致消費者需要更快的交易處理、個性化的體驗以及具有最新數(shù)據(jù)訪問的自助服務(wù)，數(shù)據(jù)集成方法要求更高效的、更低延遲的收集數(shù)據(jù)并分發(fā)給需要的客戶或程序。因此，越來越多的數(shù)據(jù)集成將數(shù)據(jù)遷移的解決方案從....

本文編號：4036174