本文選題：傳感流數據　切入點：流數據服務　出處：《計算機學報》2017年02期 　論文類型：期刊論文

【摘要】：來自不同傳感器網絡的流數據共享和集成對于帶動相關業(yè)務和行業(yè)的創(chuàng)新具有重要意義.現(xiàn)有的傳感網絡往往是任務導向或領域專用的,僅適用于特定的應用場景,難以有效地在不同應用間共享和重用其數據資源.傳感流數據的服務化是一種有效解決物理傳感網絡數據資源共享和重用的方法.針對已有服務化方法在應對大規(guī)模傳感流數據共享和用戶并發(fā)訪問方面存在的局限性,該文提出了一種面向傳感流數據的服務化封裝方法——SDaaS(Stream Data as a Service),該方法使用事件的方式驅動傳感流數據的處理和傳輸,通過對傳感數據的融合操作實現(xiàn)服務對傳感流數據的深層次加工,并基于Pub/Sub機制實現(xiàn)傳感流數據的按需分發(fā).文中基于Spark Streaming實現(xiàn)對大規(guī)模流數據加工操作的封裝,并通過對傳統(tǒng)的基于匹配樹的事件匹配算法進行改進實現(xiàn)了高效的流數據內容分發(fā),以保障將傳感數據實時的分發(fā)給相應需求.該文通過實驗驗證了流數據服務的性能,印證了流數據服務能夠響應不同的數據需求,在毫秒級別將數據流分發(fā)給不同應用.
[Abstract]:Stream data sharing and integration from different sensor networks are important for driving innovation in related businesses and industries. Existing sensor networks are often task-oriented or domain-specific and can only be used in specific application scenarios. It is difficult to share and reuse the data resource among different applications effectively. The service of sensor flow data is an effective method to solve the problem of data resource sharing and reuse in physical sensor network. The limitations of scale sensor flow data sharing and concurrent user access, In this paper, a service-oriented encapsulation method for sensor stream data is proposed. The method uses event mode to drive the processing and transmission of sensor flow data. Through the fusion operation of sensor data, the deep processing of sensor flow data is realized by the service, and the on-demand distribution of sensor flow data is realized based on Pub/Sub mechanism. The encapsulation of large-scale flow data processing operation based on Spark Streaming is realized in this paper. By improving the traditional event matching algorithm based on matching tree, the efficient streaming data content distribution is realized to ensure the real-time distribution of sensor data to the corresponding requirements. The performance of streaming data service is verified by experiments. It is proved that streaming data services can respond to different data requirements and distribute data streams to different applications at millisecond level.
【作者單位】： 天津大學計算機科學與技術學院;北方工業(yè)大學大規(guī)模流數據集成與分析技術北京市重點實驗室;北方工業(yè)大學云計算研究中心;
【基金】：國家自然科學基金(61672042) 北方工業(yè)大學“人才強校計劃”青年拔尖人才培育計劃 北京市市委組織部資助青年骨干個人項目(2015000020124G024)資助~~
【分類號】：TP393.09;TP301.6

【相似文獻】

相關期刊論文 前10條

1 金澈清,錢衛(wèi)寧,周傲英;流數據分析與管理綜述[J];軟件學報;2004年08期

2 聶國梁;盧正鼎;;流數據實時近似求和的算法研究[J];小型微型計算機系統(tǒng);2005年10期

3 李衛(wèi)民;于守健;駱軼姝;樂嘉錦;;流數據管理的降載技術:研究進展[J];計算機科學;2007年06期

4 李子杰;鄭誠;;流數據和傳統(tǒng)數據存儲及管理方法比較研究[J];計算機技術與發(fā)展;2009年04期

5 潘靜;于宏偉;;流數據管理降載技術研究綜述[J];中國管理信息化;2009年21期

6 鄒永貴;龔海平;夏英;宋強;;一種面向流數據頻繁項挖掘的降載策略[J];計算機應用研究;2011年04期

7 聶國梁;盧正鼎;聶國棟;;流數據近似統(tǒng)計算法研究[J];計算機科學;2005年04期

8 魏晶晶;金培權;龔育昌;岳麗華;;基于流數據的大對象數據緩沖機制[J];計算機工程;2006年11期

9 楊立;;基于權重的流數據頻繁項挖掘算法的應用[J];微型機與應用;2011年02期

10 尹為;張成虎;楊彬;;基于流數據頻繁項挖掘的可疑金融交易識別研究[J];西安交通大學學報(社會科學版);2011年05期

相關會議論文 前3條

1 劉正濤;毛宇光;吳莊;;一種新的流數據模型及其擴展[A];第二十二屆中國數據庫學術會議論文集（技術報告篇）[C];2005年

2 姚春芬;陳紅;;分布偏斜的流數據上的一種直方圖維護算法[A];第二十三屆中國數據庫學術會議論文集（技術報告篇）[C];2006年

3 孫煥良;趙法信;鮑玉斌;于戈;王大玲;;CD-Stream——一種基于空間劃分的流數據密度聚類算法[A];第二十一屆中國數據庫學術會議論文集（研究報告篇）[C];2004年

相關博士學位論文 前6條

1 丁智國;流數據在線異常檢測方法研究[D];上海大學;2015年

2 聶國梁;流數據統(tǒng)計算法研究[D];華中科技大學;2006年

3 劉建偉;流數據查詢系統(tǒng)結構及模式查詢算法的研究[D];東華大學;2005年

4 李衛(wèi)民;流數據查詢算法若干關鍵技術研究[D];東華大學;2008年

5 屠莉;流數據的頻繁項挖掘及聚類的關鍵技術研究[D];南京航空航天大學;2009年

6 陳筠翰;車載網絡的若干關鍵技術研究[D];吉林大學;2014年

相關碩士學位論文 前10條

1 孔祥佳;基于海洋平臺監(jiān)測的流數據管理研究[D];大連理工大學;2015年

2 王晨陽;支持位置謂詞的XML流數據查詢技術[D];北京工業(yè)大學;2015年

3 王中義;基于動態(tài)支持度的流數據關聯(lián)規(guī)則挖掘[D];哈爾濱工業(yè)大學;2014年

4 趙丹;面向流數據的不平衡樣本分類研究[D];哈爾濱工業(yè)大學;2014年

5 馮學智;基于宏森林自動機的XML流數據查詢技術[D];北京工業(yè)大學;2015年

6 徐靂靂;物流數據中的云聚類調度算法研究[D];南京郵電大學;2015年

7 肖丙賢;大規(guī)模流數據聚集查詢服務的生成與優(yōu)化[D];北方工業(yè)大學;2016年

8 劉曉斐;分布式流處理系統(tǒng)操作共享優(yōu)化算法研究[D];吉林大學;2016年

9 張媛;基于彈性分布式數據集的流數據聚類分析[D];華東師范大學;2016年

10 王曾亦;基于內存計算的流數據處理在飛行大數據的研究與應用[D];電子科技大學;2016年

，

本文編號：1556369