數字圖書(shū)館中大數據存儲的應用研究論文
【摘要】大數據時(shí)代,數據的存儲與快速存取成為圖書(shū)館管理工作中的重要問(wèn)題�，F代圖書(shū)館數字化的管理模式帶來(lái)更大的資料數據容量，同時(shí)也為數字圖書(shū)館的存儲功能提出了更高的要求。傳統的數據存儲和數據管理方式早已無(wú)法達到大數據存儲的要求標準。數字圖書(shū)館中大數據存儲問(wèn)題還需要進(jìn)一步的深入研究，并尋求順應科技發(fā)展的全新的模式來(lái)應對大數據的存儲難題。
【關(guān)鍵詞】數字圖書(shū)館；大數據；存儲；應用
圖書(shū)館、閱覽室的數據存儲系統與其他行業(yè)的存儲系統有較大不同，主要表現在:①數據量龐大。一座大型圖書(shū)館每年的數據增量可達10TB以上;②存儲周期長(cháng)。圖書(shū)館數據需要較長(cháng)的存儲時(shí)間，甚至可達50年以上;③數據類(lèi)型多樣�，F代圖書(shū)具有影像、圖像、文字、聲音等數據，均需要存儲;④高度的可靠性和安全性要求。作為一所信息化程度較高的圖書(shū)館，為了構建一個(gè)滿(mǎn)足業(yè)務(wù)需要的高效數據存儲系統，可以利用數據壓縮、重復數據刪除、自動(dòng)精簡(jiǎn)配置、自動(dòng)分層存儲等現代數據存儲技術(shù)，對大數據進(jìn)行高效的存儲和管理。
一、數字圖書(shū)館大數據存儲容量不足的問(wèn)題
現代圖書(shū)館是一個(gè)十分復雜的機構，完備的圖書(shū)館除了具有對借閱人員信息、圖書(shū)還借與出人信息、圖書(shū)設備信息等硬數據進(jìn)行管理外，數據量最大最復雜的當屬對圖書(shū)資料本身的軟數據管理以及現代電子圖書(shū)資料的儲存與管理，特別是大型圖書(shū)館或高校圖書(shū)館，門(mén)類(lèi)齊全、借閱量大、內容及設備多樣，更使得它所產(chǎn)生的數據結構復雜且數據增量大。
圖書(shū)館的數據量隨時(shí)間線(xiàn)性增長(cháng)，隨著(zhù)各種類(lèi)型的數字化圖書(shū)及設備越來(lái)越多，信息化程度的不斷加強，對圖書(shū)及讀者管理規范程度的不斷提高，以及讀者對資源要求的不斷加深，致使數據容量加速增長(cháng)。
當前大型圖書(shū)館每年的數據增量大約為20~30TB,如此浩大的數據量，對于一個(gè)擁有100TB存儲容量的圖書(shū)館一也只能滿(mǎn)足3一5年的數據存儲需要，因此需要采取有效的'應對措施予以解決。
日前，許多高校圖書(shū)館的存儲設備容量利用率不到50%，大有潛力可挖。在圖書(shū)館實(shí)際管理工作中，在缺乏技術(shù)的情況下，經(jīng)常采取整理碎片的技術(shù)來(lái)提高存儲空間利用率和數據查詢(xún)效率，這對于一般性的小容量操作是可行的，但對于大型數據系統其耗費的時(shí)間是難以估計的。況且，碎片的整理并不能有效消除分配卷中未使用的空間，達不到精簡(jiǎn)配置的目的。
二、數字圖書(shū)館大數據存儲容量不足的應對
措施日前許多圖書(shū)館采取的辦法是由被購買(mǎi)了電子圖書(shū)的商家作數據備份，這顯然不是最有效的數據存儲機制。為了大幅度提高數據存儲效率，最有效的辦法是采用數據壓縮技術(shù)和重復數據刪除技術(shù)。
1、利用壓縮技術(shù)提高空間利用率
對于書(shū)籍等圖書(shū)資料文件，其文件內和文件間存在大量的相似性關(guān)系，Delta壓縮技術(shù)則可以對文件內和文件間的數據進(jìn)行比較，刪除文件內和文件間的冗余數據，達到數據壓縮的日的，相似程度越高，壓縮比越小。
2、利用消重技術(shù)提高空間利用率
圖書(shū)館數據在存儲過(guò)程中往往有大量的備份數據，數據經(jīng)過(guò)多次備份后，產(chǎn)生較多的數據重復，重復數據刪除技術(shù)在備份過(guò)程中能夠較好地消除重復數據，進(jìn)而節約空間。對于重復數據備份，可以分為時(shí)間數據消重和空間數據消重。對于電子書(shū)籍等產(chǎn)生的數據一般屬于自然數據，其主要特點(diǎn)是，數據的變化率較低、完備的數據備份、數據長(cháng)期保存、數據內容可以感知等，因此，適合采用時(shí)間數據消重。因此，就本校圖書(shū)館的數據整理，大約每三個(gè)月進(jìn)行一次。
圖書(shū)館數據量龐大，僅僅一所5000人規模學(xué)校的中型圖書(shū)館，其電子圖書(shū)數據量就可達到15TB以上。因此，不能簡(jiǎn)單采用與中小備份類(lèi)似的解決方案，由于存在大量的圖形文件及影像文件等，其海量數據備份是一個(gè)非常耗時(shí)的過(guò)程，在熱備份情況下，可能需要花費近一個(gè)月時(shí)間。最佳實(shí)踐做法是，采用備份設施來(lái)拷貝數據并同時(shí)保證應用程序仍然可以讓客戶(hù)端使用。重要數據的備份可以使用有冗余級別配置的主機或硬盤(pán)RAID。兩個(gè)獨立硬件控制的RAID陣列的軟件鏡像可以用來(lái)備份其關(guān)鍵數據。這種技術(shù)可以保證當某個(gè)磁盤(pán)或陣列發(fā)生故障時(shí)整個(gè)系統仍然可以使用，任何網(wǎng)絡(luò )組件的故障，如網(wǎng)卡、視頻設備、IDE控制器、電源等可以容易地替換而不影響運行。最經(jīng)濟且非常有效的數據備份方案可以采取冗余技術(shù)RAID4,即若干個(gè)數據盤(pán)帶一個(gè)冗余盤(pán)，在這些盤(pán)中的相應塊內，存儲的相應位的1的個(gè)數必須是偶數個(gè)。當某一個(gè)數據盤(pán)發(fā)生故障而更換了新盤(pán)后，只要按照偶數個(gè)1的原則就可以將損壞了的數據恢復到新盤(pán)中。
在實(shí)際操作中，可以有多種備份方案，通常采用停機備份:正常關(guān)閉待操作數據，進(jìn)行數據的冷備份。備份所有數據文件、控制文件、日志文件和參數文件，把冷備份拷貝到新存儲設備上，然后新建一個(gè)同名實(shí)例，最后再把備份數據文件重新打開(kāi)即可。
3、提高存儲空間的利用率
對于某項應用，傳統空間分配方案采用完全供給，以確保該應用擁有足夠的增長(cháng)空間，這勢必造成大量的存儲空間閑置，在空間浪費的同時(shí)也造成了能源損失。采用自動(dòng)精簡(jiǎn)配置是一種較新的存儲空間管理技術(shù)。利用自動(dòng)精簡(jiǎn)配置技術(shù)，能夠幫助用戶(hù)在不降低性能的情況下，大幅度提高存儲空間利用效率，能使用戶(hù)實(shí)現接近100%的存儲空間利用率，因為數據需要多少空間系統則按需要進(jìn)行分配，基本不產(chǎn)生多余的空間。自動(dòng)精簡(jiǎn)配置技術(shù)的一個(gè)明顯的優(yōu)勢在于可自動(dòng)擴展分配卷，無(wú)須手動(dòng)擴展，而且當需求變化時(shí)，無(wú)需更改存儲容量設置;通過(guò)虛擬化技術(shù)集成存儲，減少超量配置，降低總功耗。這也是解決機房耗能問(wèn)題的很有效的方法。
三、總結
總的來(lái)說(shuō)，對于數字圖書(shū)館大數據的存儲和管理都十分關(guān)鍵，有效地存儲和管理大數據是現代圖書(shū)館信息化管理的必要基礎，良好的數據管理技術(shù)能夠為圖書(shū)館管理工作的順利開(kāi)展提供保障。所以，加強大數據存儲工作的管理，是未來(lái)數字圖書(shū)館發(fā)展的重要保證。
參考文獻
[1]彭磊.建立SAN(存儲局域網(wǎng))——高校圖書(shū)館數據存
【數字圖書(shū)館中大數據存儲的應用研究論文】相關(guān)文章：
淺析基于云存儲的數字校園存儲架構論文05-28
基于數據挖掘的數字圖書(shū)館檢索技術(shù)研究論文11-06
Web集成信息檢索在數字圖書(shū)館中的應用研究論文10-30
集群存儲系統數據安全研究論文10-30
論文：大數據在高校中的應用研究07-02
數字圖書(shū)館著(zhù)作權論文05-30