眾所周知，當(dāng)數(shù)據(jù)量達(dá)到一定的級(jí)別之后，通過(guò)提高設(shè)備性能或者增加設(shè)備，效果往往不會(huì)很明顯。這就好像魚(yú)塘大了、魚(yú)多了，要撈一條魚(yú)容易。但是要抓一條特定的、有標(biāo)記的魚(yú)，就困難多了。但是如果我們將一個(gè)大的魚(yú)塘分成一個(gè)個(gè)小魚(yú)塘，然后在不同的魚(yú)塘中放養(yǎng)不同的魚(yú)。即將鯉魚(yú)、鯽魚(yú)、草魚(yú)等等放養(yǎng)在各自的魚(yú)塘中。此時(shí)想抓什么魚(yú)就在什么魚(yú)塘抓就行了。

　　數(shù)據(jù)分級(jí)存儲(chǔ)其實(shí)跟這個(gè)魚(yú)塘放養(yǎng)的道理類似。一方面存儲(chǔ)設(shè)備的性能有優(yōu)劣之分，如磁帶的性能就比不上硬盤的性能。另一方面，用戶數(shù)據(jù)使用的頻率也是不同的。如訂單等信息可能需要經(jīng)常用到，而視頻監(jiān)控信息可能一年都不會(huì)訪問(wèn)一次。在這種情況下，如果能夠?qū)⒂脩艚?jīng)常需要用到的數(shù)據(jù)放到硬盤上，而將使用頻率低的數(shù)據(jù)放到性能欠佳的磁帶設(shè)備上。那么就可以提高數(shù)據(jù)查詢的命中率，從而提高數(shù)據(jù)查詢與處理的效率。

　　一、利用離線存儲(chǔ)來(lái)提高設(shè)備的使用壽命。

　　如上圖所示，存儲(chǔ)在磁帶設(shè)備上的數(shù)據(jù)一般可能很少用到。如企業(yè)需要對(duì)數(shù)據(jù)庫(kù)等應(yīng)用軟件的數(shù)據(jù)進(jìn)行備份。此時(shí)可以將數(shù)據(jù)備份到磁帶設(shè)備上。根據(jù)慣例，一般一天24個(gè)小時(shí)這個(gè)磁帶設(shè)備可能就只需要半個(gè)小時(shí)。在這種情況下，如果磁帶設(shè)備仍然一天24個(gè)小時(shí)運(yùn)行著，那么是相當(dāng)浪費(fèi)的。不僅會(huì)浪費(fèi)電源，而且還會(huì)影響磁帶設(shè)備的使用壽命。

　　而如果在分級(jí)存儲(chǔ)中采用離線存儲(chǔ)的話，那么就可以解決這個(gè)問(wèn)題。離線存儲(chǔ)簡(jiǎn)單的說(shuō)，就是平時(shí)磁帶設(shè)備是處于休眠狀態(tài)。當(dāng)需要用到的時(shí)候，可以將磁帶設(shè)備喚醒。然后往磁帶設(shè)備上讀取或者寫(xiě)入數(shù)據(jù)。等到操作完成之后，磁帶系統(tǒng)就會(huì)自動(dòng)再轉(zhuǎn)為休閑狀態(tài)。設(shè)計(jì)的好的話，可以將磁帶設(shè)備的運(yùn)行時(shí)間控制在最短時(shí)間之內(nèi)，如一個(gè)小時(shí)之內(nèi)。從而可以提高設(shè)備的使用壽命。

　　通常情況下，離線存儲(chǔ)主要是用在對(duì)在線存儲(chǔ)的數(shù)據(jù)進(jìn)行備份，以防范可能發(fā)生的數(shù)據(jù)災(zāi)難。為此在分級(jí)存儲(chǔ)中，也將離線存儲(chǔ)叫做備份級(jí)別的存儲(chǔ)。這里需要注意的是，離線存儲(chǔ)介質(zhì)上的數(shù)據(jù)在讀寫(xiě)時(shí)是按順序進(jìn)行的。當(dāng)需要數(shù)據(jù)讀取時(shí)，需要將帶子卷到頭，然后再進(jìn)行定位。當(dāng)需要對(duì)已寫(xiě)入的數(shù)據(jù)進(jìn)行修改時(shí)，所有的數(shù)據(jù)都需要全部進(jìn)行改寫(xiě)。所以離線海量存儲(chǔ)的效率是比較低的。但是其最大的優(yōu)點(diǎn)就是可以以比較低的成本實(shí)現(xiàn)海量存儲(chǔ)。

　　為此離線存儲(chǔ)并不適合所有的情況。通常情況下，離線存儲(chǔ)主要用來(lái)存儲(chǔ)那些不經(jīng)常使用的數(shù)據(jù)，如數(shù)據(jù)備份等等。而且一般在分級(jí)存儲(chǔ)中結(jié)合使用離線存儲(chǔ)，用來(lái)提高設(shè)備的使用效率。

　　二、考慮如何有效的對(duì)數(shù)據(jù)進(jìn)行分級(jí)?

　　為什么有時(shí)候采用數(shù)據(jù)分級(jí)存儲(chǔ)策略能夠提高比較好的效果，而有時(shí)候效果又不明顯呢?筆者認(rèn)為，這其中有一個(gè)很重要的原因是數(shù)據(jù)分級(jí)策略的指標(biāo)不合適。也就是說(shuō)，將什么魚(yú)放養(yǎng)在哪個(gè)魚(yú)塘中，是由存儲(chǔ)系統(tǒng)根據(jù)一定規(guī)則來(lái)決定的。如果這個(gè)規(guī)則設(shè)置不當(dāng)，如只根據(jù)魚(yú)的大小來(lái)決定，那么同一個(gè)魚(yú)塘中就可能會(huì)有各種各樣的魚(yú)。此時(shí)就不利于數(shù)據(jù)的查詢與管理。可見(jiàn)，這個(gè)分級(jí)的規(guī)則相當(dāng)?shù)年P(guān)鍵。

　　筆者建議，在使用數(shù)據(jù)分級(jí)存儲(chǔ)產(chǎn)品的時(shí)候，最好能夠選擇那些基于多指標(biāo)的數(shù)據(jù)分級(jí)策略。也就是說(shuō)，根據(jù)基于數(shù)據(jù)的生命周期、上次訪問(wèn)的時(shí)間、大小、訪問(wèn)頻率等等多個(gè)參數(shù)對(duì)數(shù)據(jù)的價(jià)值進(jìn)行分級(jí)。具體的來(lái)說(shuō)，在數(shù)據(jù)分級(jí)時(shí)需要考慮到如下內(nèi)容。

　　一是最好在數(shù)據(jù)創(chuàng)建的時(shí)候就能夠確定數(shù)據(jù)的級(jí)別。因?yàn)槿绻麛?shù)據(jù)一創(chuàng)建就能夠預(yù)測(cè)其訪問(wèn)特性而進(jìn)行適當(dāng)?shù)姆旨?jí)，就能夠減少不必要的數(shù)據(jù)轉(zhuǎn)移而帶來(lái)的麻煩。這也就是說(shuō)，在日常管理中我們可以對(duì)于一些數(shù)據(jù)進(jìn)行手工的分級(jí)，而不需要讓系統(tǒng)來(lái)進(jìn)行分級(jí)。如根據(jù)以前的經(jīng)驗(yàn)，可以預(yù)測(cè)用戶對(duì)于近1個(gè)月的郵件數(shù)據(jù)需要經(jīng)常訪問(wèn)。那么就可以指定，對(duì)于最近一個(gè)月的數(shù)據(jù)指定為級(jí)別高的數(shù)據(jù)。而其他時(shí)間的郵件數(shù)據(jù)則根據(jù)一定的規(guī)則讓系統(tǒng)自動(dòng)進(jìn)行判斷。手工指定與系統(tǒng)自動(dòng)判斷結(jié)合，往往可以起到不錯(cuò)的效果。

　　二是根據(jù)數(shù)據(jù)的靜態(tài)特征和動(dòng)態(tài)特征來(lái)進(jìn)行分級(jí)也能夠起到不錯(cuò)的效果。如可以通過(guò)以下方式來(lái)判斷文件是靜態(tài)的還是動(dòng)態(tài)的。一是根據(jù)文件系統(tǒng)的靜態(tài)特征(如文件大小的分布)，二是根據(jù)文件系統(tǒng)的宏觀訪問(wèn)規(guī)律(如大小文件的訪問(wèn)次數(shù)分布)，三是根據(jù)根據(jù)文件之間的訪問(wèn)關(guān)聯(lián)特征(如同一作業(yè)中的一個(gè)文件被訪問(wèn)，則可能會(huì)帶動(dòng)其他文件也被訪問(wèn))，四是文件個(gè)性的訪問(wèn)模式(如是否具有訪問(wèn)的局限性)。在實(shí)際工作中，可以根據(jù)這些特征對(duì)文件進(jìn)行手工的歸類。也可以在選購(gòu)的時(shí)候，判斷系統(tǒng)中是否有對(duì)應(yīng)的分級(jí)策略。

　　三、如何有效降低遷移過(guò)程中的沖突?

　　分級(jí)存儲(chǔ)另一個(gè)特點(diǎn)，就是會(huì)根據(jù)數(shù)據(jù)的訪問(wèn)級(jí)別，在不同設(shè)備之間進(jìn)行數(shù)據(jù)的遷移。如剛開(kāi)始一些數(shù)據(jù)是存儲(chǔ)在硬盤或者磁盤陣列中的。后來(lái)分級(jí)存儲(chǔ)系統(tǒng)發(fā)現(xiàn)其已經(jīng)有近半年沒(méi)有被訪問(wèn)了，此時(shí)就會(huì)將數(shù)據(jù)從硬盤或者磁盤陣列中遷移到磁帶中。這種遷移也叫做降級(jí)遷移(將數(shù)據(jù)從性能高的設(shè)備中遷移到性能低的設(shè)備中)。相反，當(dāng)用戶在一段時(shí)間內(nèi)突然頻繁訪問(wèn)存放在磁帶中的數(shù)據(jù)，此時(shí)分級(jí)存儲(chǔ)系統(tǒng)就會(huì)將數(shù)據(jù)從磁帶中遷移到硬盤或者磁盤陣列中，這就叫做升級(jí)遷移(數(shù)據(jù)有慢速存儲(chǔ)設(shè)備和低一級(jí)存儲(chǔ)設(shè)備往快速存儲(chǔ)設(shè)備或者高一級(jí)存儲(chǔ)設(shè)備遷移)。

　　這里需要注意，在遷移的過(guò)程中可能會(huì)發(fā)生沖突。根據(jù)筆者的經(jīng)驗(yàn)，一般來(lái)說(shuō)在降級(jí)遷移中設(shè)備的輸入輸出沖突并不是很嚴(yán)重。但是在升級(jí)遷移中，則必須要考慮數(shù)據(jù)遷移帶來(lái)的I/Q沖突。因?yàn)楦鶕?jù)測(cè)試發(fā)現(xiàn)，數(shù)據(jù)遷移發(fā)生的時(shí)候，基本上是對(duì)應(yīng)設(shè)備I/Q最密集的時(shí)候。為此在分級(jí)系統(tǒng)設(shè)計(jì)的時(shí)候，必須要考慮到，如何才能夠最大程度的降低數(shù)據(jù)遷移過(guò)程中的I/Q沖突，降低對(duì)其他用戶數(shù)居訪問(wèn)的不利影響。現(xiàn)在常用的一種手段是盡量保證只在磁帶與磁盤陣列之間進(jìn)行數(shù)據(jù)的升級(jí)遷移。因?yàn)橄鄬?duì)來(lái)說(shuō)，可以通過(guò)增加硬盤的數(shù)量來(lái)增加數(shù)據(jù)輸入輸出的吞吐量，從而降低I/Q沖突。而減少在磁帶與單塊硬盤之間的數(shù)據(jù)遷移操作。根據(jù)筆者的測(cè)試發(fā)現(xiàn)，及時(shí)性能最高的硬盤，在發(fā)生數(shù)據(jù)升級(jí)遷移的過(guò)程中，不可避免的會(huì)遇到I/O沖突的情況。

　　在數(shù)據(jù)遷移的過(guò)程中，除了要考慮數(shù)據(jù)沖突之外，還需要注意數(shù)據(jù)的一致性。根據(jù)現(xiàn)在的技術(shù)，最常用的手段是通過(guò)讀寫(xiě)鎖來(lái)確保數(shù)據(jù)的一致性。系統(tǒng)的遷移進(jìn)程會(huì)為當(dāng)前的數(shù)據(jù)塊申請(qǐng)讀寫(xiě)鎖，以保證遷移進(jìn)程與寫(xiě)操作進(jìn)程之間的數(shù)據(jù)一致性。通常情況下，則也是選擇分級(jí)存儲(chǔ)產(chǎn)品中必須要考慮一個(gè)指標(biāo)。

　　以上提到的這三個(gè)內(nèi)容，不僅僅是大家在部署的時(shí)候需要注意的問(wèn)題，而且在選購(gòu)產(chǎn)品的時(shí)候，也可以以這些標(biāo)準(zhǔn)來(lái)進(jìn)行評(píng)估。

it知識(shí)庫(kù)：如何利用數(shù)據(jù)分級(jí)提高存儲(chǔ)的準(zhǔn)確率，轉(zhuǎn)載需保留來(lái)源！

鄭重聲明：本文版權(quán)歸原作者所有，轉(zhuǎn)載文章僅為傳播更多信息之目的，如作者信息標(biāo)記有誤，請(qǐng)第一時(shí)間聯(lián)系我們修改或刪除，多謝。