|
隨著信息技術(shù)的廣泛應(yīng)用,數(shù)據(jù)流作為一種新穎的數(shù)據(jù)結(jié)構(gòu)在日常生活中有著越來越廣泛的應(yīng)用,微軟在SQL Server 2008 R2 中推出了分析處理數(shù)據(jù)流的新組件——StreamInsight。
它提供了基于DotNET框架的開發(fā)環(huán)境,用戶能夠輕松地使用它來開發(fā)出健壯,高效地數(shù)據(jù)流處理程序。
StreamInsight的本質(zhì)是復(fù)雜事件處理(Complex Event Processing,CEP)的應(yīng)用程序框架,與傳統(tǒng)的數(shù)據(jù)庫查詢處理不同,
事件處理系統(tǒng)需要同時處理來自多個數(shù)據(jù)源的海量事件(Event),并且根據(jù)用戶提供的查詢語句以及匹配模式,實時地輸出事件分析結(jié)果。我們在下表中列出了事件驅(qū)動應(yīng)用和數(shù)據(jù)庫應(yīng)用的主要區(qū)別:
數(shù)據(jù)庫應(yīng)用 | 事件驅(qū)動的應(yīng)用(Event Driven) | |
查詢模式 | 特定的查詢請求 | 連續(xù)的查詢 |
響應(yīng)時間 | 從幾秒至數(shù)天 | 幾毫秒或更少 |
數(shù)據(jù)流量 | 數(shù)百條記錄/秒 | >10000 事件/秒 |
通過使用StreamInsight,用戶可以開發(fā)出基于CEP的程序來實時處理大量的原始數(shù)據(jù),利用數(shù)據(jù)之間的層次和關(guān)聯(lián)關(guān)系,有效的采用相應(yīng)的規(guī)則進行處理,
以降低進行事件分析,事件關(guān)聯(lián)及事件解析等操作的代價。StreamInsight同時能夠支持對數(shù)據(jù)流模式匹配、異常檢測、趨勢分析等操作,
使用戶能夠更好地管理、監(jiān)控和挖掘數(shù)據(jù),最終使用戶得到之前無法了解的信息,并能夠更快速和更有效的進行操作決策,提高關(guān)鍵績效指標(biāo)(KPI)。
在StreamInsight的應(yīng)用中,其核心為StreamInsight服務(wù)器,它主要由輸入,輸出適配器(Adaptor)以及CEP引擎(CEP Engine)組成。
- CEP引擎(CEP Engine):所有的輸入數(shù)據(jù)都將再CEP引擎中進行分析和處理,它根據(jù)用戶定義的查詢邏輯,有效地分析和轉(zhuǎn)換輸入的數(shù)據(jù),并及時輸出結(jié)果。
- 適配器(Adaptor):StreamInsight提供了適配器的框架,開發(fā)者能夠通過實現(xiàn)不同的接口來開發(fā)不同種類的適配器。適配器分為兩類,輸入適配器(Input Adaptor)是連接外部存儲設(shè)備如網(wǎng)絡(luò)服務(wù)器,傳感器同StreamInsight引擎的接口。而輸出適配器則用于處理CEP引擎輸出的結(jié)果并可以同時觸發(fā)一系列的操作。
下圖給出了StreamInsight應(yīng)用的整體結(jié)構(gòu):
StreamInsight平臺提供了一個功能強大的對象模型,它包含了許多有用的特性使得我們能夠開發(fā)出靈活和功能強大StreamInsight的程序。
對于初次使用StreamInsight的開發(fā)者來說,參考網(wǎng)上的一些實例能夠取得事半功倍的效果。
在我加入微軟之前,也曾進行過一段時間的數(shù)據(jù)流研究,當(dāng)時的感受是,由于沒有很好的數(shù)據(jù)流開發(fā)框架,
我需要對于不同的應(yīng)用開發(fā)不同的數(shù)據(jù)流程序來分析算法的有效性,而隨著StreamInsight的推出,不僅能夠為企業(yè)用戶創(chuàng)造很大的價值,普通研究者也能夠使用它更有效地開展研究工作。
StreamInsight的相關(guān)組件可以在微軟網(wǎng)站上直接下載,如果您需要獲得更多的信息,請訪問微軟StreamInsight的相關(guān)網(wǎng)站。
it知識庫:淺談SQL Server 2008 R2 中的新組件——StreamInsight,轉(zhuǎn)載需保留來源!
鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請第一時間聯(lián)系我們修改或刪除,多謝。