|
計(jì)算機(jī)存儲(chǔ)的容量限制仍然日益成為IT系統(tǒng)的瓶頸。其主要原因有兩個(gè):第一,信息革命導(dǎo)致人們產(chǎn)生了比過去多得多的數(shù)據(jù)。巨大的數(shù)據(jù)庫系統(tǒng)每時(shí)每刻都在產(chǎn)生海量的新數(shù)據(jù)。第二,隨著計(jì)算機(jī)存儲(chǔ)能力的增長,人們傾向于永久性保存所有的數(shù)據(jù)。例如,在信息革命早期,證券交易系統(tǒng)往往只保存近一段時(shí)間的交易細(xì)節(jié)數(shù)據(jù)。如今,人們傾向于保存所有能夠被保存的數(shù)據(jù):每一次交易,每一通電話,網(wǎng)站的每一次點(diǎn)擊,交換機(jī)中的每一回通信等。
在這種趨勢(shì)下,計(jì)算機(jī)存儲(chǔ)承擔(dān)著越來越沉重的壓力。尤其是在企業(yè)級(jí)應(yīng)用中,為了保存海量數(shù)據(jù)而在存儲(chǔ)上投入的成本,往往已經(jīng)到了令人吃驚的地步。
在數(shù)據(jù)庫中使用壓縮技術(shù),是為了解決(或者至少緩解)這種壓力所做出的努力之一。這種技術(shù)的定義十分簡單:對(duì)存儲(chǔ)在數(shù)據(jù)庫中的數(shù)據(jù)進(jìn)行壓縮,從而減少占用的磁盤空間,同時(shí)又盡量不影響數(shù)據(jù)庫的其他操作。
很容易想象這一技術(shù)產(chǎn)生的后果。被壓縮后的數(shù)據(jù)能夠顯著地減少占用的磁盤空間,從而降低整個(gè)系統(tǒng)的存儲(chǔ)成本。然而對(duì)數(shù)據(jù)進(jìn)行壓縮和解壓縮,需要更多的CPU時(shí)間。在對(duì)速度要求十分苛刻的數(shù)據(jù)庫系統(tǒng)中,這種CPU時(shí)間的額外支出,是否會(huì)導(dǎo)致效率的嚴(yán)重降低呢?
讓我們?nèi)娴貙徱晧嚎s技術(shù)引起的得失。在CPU時(shí)間上,會(huì)有額外的支出。但是,由于壓縮后的數(shù)據(jù)占用的磁盤空間減少了,這意味著系統(tǒng)用于I/O的時(shí)間也會(huì)相應(yīng)的減少。眾所周知,數(shù)據(jù)庫系統(tǒng)最大的瓶頸在于I/O:I/O速度的增長卻遠(yuǎn)遠(yuǎn)跟不上CPU按照摩爾定律的增長。因此,從CPU時(shí)間上支出的成本,可以在I/O速度的提高上補(bǔ)償回來,而且還可能有盈余。壓縮后的數(shù)據(jù)庫,不但會(huì)占用更少的磁盤空間,甚至還可能有更快的速度。
然而在實(shí)際項(xiàng)目中,還要考慮到多種因素的權(quán)衡,情況可能會(huì)非常復(fù)雜。幸運(yùn)的是,主流的幾種關(guān)系數(shù)據(jù)庫在實(shí)踐中都已經(jīng)正式支持壓縮技術(shù)。目前,數(shù)據(jù)庫壓縮技術(shù)主要仍然被應(yīng)用于數(shù)據(jù)密集型的OLAP,而不是運(yùn)算密集型的OLTP,但這并不意味著它不能被應(yīng)用于OLTP。
壓縮方式
目前,幾乎所有的關(guān)系型數(shù)據(jù)庫中應(yīng)用的壓縮方式,都是基于字典的壓縮方式。基本原理是,將數(shù)據(jù)中重復(fù)出現(xiàn)的信息抽取出來,并用比較簡短的符號(hào)予以代替,從而達(dá)到壓縮的效果。舉例來說,如果數(shù)據(jù)中重復(fù)出現(xiàn)了“PersonalComputer”這個(gè)字符串,那么它就會(huì)被識(shí)別為一個(gè)模式(Pattern),然后所有這個(gè)字符串出現(xiàn)的地方都會(huì)被一個(gè)對(duì)應(yīng)的符號(hào)(Symbol)代替,比如數(shù)字1。所有的模式和對(duì)應(yīng)的符號(hào)都會(huì)被存儲(chǔ)在字典里面(Dictionary),字典被用于壓縮和解壓縮(也就是對(duì)Pattern和Symbol進(jìn)行相互替換)。當(dāng)然,真實(shí)的應(yīng)用比這要復(fù)雜得多。但是,理解了字典壓縮的原理以后,我們已經(jīng)可以從不同的角度對(duì)不同的壓縮技術(shù)進(jìn)行區(qū)分。
按建立字典的方式區(qū)分:手工建立字典和自動(dòng)建立字典。手工建立字典,意味著數(shù)據(jù)庫不能自動(dòng)搜索數(shù)據(jù)中的重復(fù)數(shù)據(jù),必須人工輸入所有的模式才能建立字典。這種方式出現(xiàn)在數(shù)據(jù)庫壓縮技術(shù)的早期,目前已經(jīng)基本被淘汰。自動(dòng)建立字典則意味著數(shù)據(jù)庫會(huì)自動(dòng)搜索模式而無需人工干預(yù)。
按字典應(yīng)用的范圍區(qū)分:表級(jí)別的字典和塊級(jí)別的字典。表級(jí)別的字典意味著在整個(gè)表的范圍內(nèi)搜索模式并建立一個(gè)唯一的字典,而塊級(jí)別的字典則在每一個(gè)塊上建立單獨(dú)的字典。其中,塊是關(guān)系型數(shù)據(jù)庫中的一個(gè)術(shù)語,是存儲(chǔ)的最小單位。
按存儲(chǔ)的方式區(qū)分:列壓縮和行壓縮。這涉及列存儲(chǔ)和行存儲(chǔ)的概念。行存儲(chǔ)表示數(shù)據(jù)庫中包含不同字段的同一行被連續(xù)存放。列存儲(chǔ)則表示包含不同行的同一字段數(shù)據(jù)被連續(xù)存放。同一字段的數(shù)據(jù)出現(xiàn)重復(fù)的可能性較大,這意味著基于列的壓縮可能有更高的效率,但這和傳統(tǒng)關(guān)系型數(shù)據(jù)庫的存儲(chǔ)方式相悖。由于二者互有利弊,數(shù)據(jù)庫廠商往往通過一些技巧來避免其缺陷,使之適應(yīng)實(shí)際使用,甚至混合使用這兩種壓縮方式。
壓縮相關(guān)的操作
雖然關(guān)系型數(shù)據(jù)庫使用的壓縮算法本身不太復(fù)雜,但是由于壓縮技術(shù)改變了數(shù)據(jù)存儲(chǔ)的底層結(jié)構(gòu),因此涉及數(shù)據(jù)庫操作的方方面面。下面是一些主要的相關(guān)操作:
數(shù)據(jù)查詢。當(dāng)接收到查詢請(qǐng)求時(shí),數(shù)據(jù)庫系統(tǒng)從磁盤中讀取已被壓縮的數(shù)據(jù),必須先經(jīng)過一個(gè)解壓的過程,將數(shù)據(jù)還原為未壓縮的形式,再返回給查詢請(qǐng)求。
數(shù)據(jù)更新。當(dāng)進(jìn)行Insert和Update操作時(shí),數(shù)據(jù)需要經(jīng)過壓縮之后才被存儲(chǔ)。理論上來說,Delete操作只需要簡單地刪除數(shù)據(jù),而無需進(jìn)行壓縮或解壓縮。但是事實(shí)上,在某些自適應(yīng)的壓縮技術(shù)中,對(duì)已有數(shù)據(jù)的更新到達(dá)某一閾值時(shí),會(huì)導(dǎo)致字典的自動(dòng)更新(因?yàn)樽值湟呀?jīng)不能再適應(yīng)當(dāng)前的數(shù)據(jù))。這意味著,IUD操作都有可能導(dǎo)致字典的重新創(chuàng)建(或刪除)。
數(shù)據(jù)裝載。這和插入數(shù)據(jù)的過程類似,數(shù)據(jù)將會(huì)先被壓縮然后被存儲(chǔ)。在某些情況下(例如,當(dāng)DB2的AutomaticDictionaryCreation技術(shù)被啟用時(shí)),裝載數(shù)據(jù)時(shí)還可能同時(shí)創(chuàng)建字典。
表整理。在整理表時(shí),根據(jù)當(dāng)前表被標(biāo)識(shí)為壓縮或未壓縮,將會(huì)對(duì)數(shù)據(jù)進(jìn)行相應(yīng)的壓縮或者解壓縮處理。表整理是對(duì)整個(gè)表進(jìn)行充分壓縮的有效手段。
壓縮率評(píng)估。數(shù)據(jù)庫一般會(huì)提供一個(gè)操作,在未被壓縮(或未被完全壓縮)的數(shù)據(jù)表上進(jìn)行評(píng)估,預(yù)測能達(dá)到多高的壓縮率。
索引(Index)壓縮。索引壓縮的算法與關(guān)系型數(shù)據(jù)壓縮不太一樣,本文不進(jìn)行深入討論。
大對(duì)象(LOB)壓縮。大對(duì)象不使用關(guān)系型數(shù)據(jù)的行存儲(chǔ)或列存儲(chǔ)方式,因此也不適用上述的算法。
日志(Log)。日志中需要保存和壓縮操作相關(guān)的信息,以保證數(shù)據(jù)的一致性。
備份與恢復(fù)。在備份與恢復(fù)操作時(shí),需要進(jìn)行相應(yīng)的數(shù)據(jù)壓縮和解壓縮處理。
壓縮相關(guān)的命令
雖然壓縮涉及非常復(fù)雜的數(shù)據(jù)庫內(nèi)部機(jī)制,但理論上來說,壓縮后的數(shù)據(jù)庫對(duì)于使用者是透明的,所有的壓縮和解壓縮過程都隱藏在數(shù)據(jù)庫內(nèi)部。因此,在絕大部分情況下,使用者不需要進(jìn)行額外的操作,甚至不需要知道數(shù)據(jù)庫是否已經(jīng)被壓縮過。
當(dāng)然,仍然有一些與特定的壓縮相關(guān)的數(shù)據(jù)庫命令。下面以DB2V9.7為例,作一簡單討論。
當(dāng)創(chuàng)建一個(gè)表的時(shí)候,可指定該表使用壓縮。語法如下:
view sourceprint?1 CREATETABLECUSTOMER( … )COMPRESSYES;
it知識(shí)庫:關(guān)系型數(shù)據(jù)庫中的壓縮技術(shù),轉(zhuǎn)載需保留來源!
鄭重聲明:本文版權(quán)歸原作者所有,轉(zhuǎn)載文章僅為傳播更多信息之目的,如作者信息標(biāo)記有誤,請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除,多謝。