99热精品69堂国产-97超级碰在线精品视频-日韩欧美中文字幕在线视频-欧美日韩大尺码免费专区-最新国产三级在线不卡视频-在线观看成人免费视频-亚洲欧美国产精品完整版-色综久久天天综合绕视看-中文字幕免费在线看线人-久久国产精品99精品国产

歡迎來到優(yōu)發(fā)表網(wǎng)!

購物車(0)

期刊大全 雜志訂閱 SCI期刊 期刊投稿 出版社 公文范文 精品范文

數(shù)據(jù)存儲(chǔ)技術(shù)論文

時(shí)間:2022-05-21 11:05:38

序論:在您撰寫數(shù)據(jù)存儲(chǔ)技術(shù)論文時(shí),參考他人的優(yōu)秀作品可以開闊視野,小編為您整理的1篇范文,希望這些建議能夠激發(fā)您的創(chuàng)作熱情,引導(dǎo)您走向新的創(chuàng)作高度。

數(shù)據(jù)存儲(chǔ)技術(shù)論文

數(shù)據(jù)存儲(chǔ)技術(shù)論文:網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)分析及應(yīng)用研究

【摘要】 計(jì)算機(jī)科學(xué)技術(shù)的快速發(fā)展同時(shí)也帶動(dòng)了網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的蓬勃發(fā)展,網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)作為一種重要的數(shù)據(jù)存數(shù)技術(shù),被廣泛的應(yīng)用在多個(gè)領(lǐng)域。不斷發(fā)展和改進(jìn)網(wǎng)絡(luò)數(shù)據(jù)存數(shù)技術(shù),推動(dòng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的快速發(fā)展。本文分析了傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的分析和應(yīng)用和現(xiàn)代化網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的分析和應(yīng)用。

【關(guān)鍵詞】 網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù) 分析 應(yīng)用

數(shù)據(jù)存數(shù)作為計(jì)算機(jī)系統(tǒng)中一個(gè)獨(dú)立的模塊,網(wǎng)絡(luò)數(shù)據(jù)存數(shù)技術(shù)的發(fā)展目標(biāo)是高智能化、低成本化,通過深入分析和研究網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù),不斷地進(jìn)行改進(jìn)和完善,使網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)更加強(qiáng)大和安全,推動(dòng)網(wǎng)絡(luò)數(shù)據(jù)技術(shù)的快速發(fā)展。

一、傳統(tǒng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的分析和應(yīng)用

1、SAN。SAN是一種計(jì)算機(jī)存儲(chǔ)區(qū)域的數(shù)據(jù)存儲(chǔ)技術(shù),將計(jì)算機(jī)網(wǎng)絡(luò)服務(wù)器和存儲(chǔ)設(shè)備聯(lián)系起來,服務(wù)器使用SAN接入網(wǎng)絡(luò)系統(tǒng)[1]。SAN存儲(chǔ)區(qū)域基于LAN層次一下,是一種高效的存儲(chǔ)網(wǎng)絡(luò),利用SAN數(shù)據(jù)存儲(chǔ)技術(shù),可以有效地緩解大容量數(shù)據(jù)傳輸對計(jì)算機(jī)網(wǎng)絡(luò)的影響,能夠優(yōu)化大容量數(shù)據(jù)的分配。但是這種技術(shù)在日常的應(yīng)用中操作性較差,在維護(hù)和構(gòu)建SAN架構(gòu)時(shí),技術(shù)人員必須具有豐富的操作經(jīng)驗(yàn)和專業(yè)知識(shí)積累,再加上SAN技術(shù)的網(wǎng)絡(luò)互聯(lián)裝置價(jià)格昂貴,增加了這種技術(shù)的運(yùn)行成本,使得SAN技術(shù)難以發(fā)展和普及。

2、DAS。DAS是一種和計(jì)算機(jī)網(wǎng)絡(luò)直接相連的數(shù)據(jù)存儲(chǔ)技術(shù),它利用SCSI接口或光纖通道將網(wǎng)絡(luò)服務(wù)器和存儲(chǔ)設(shè)備直接相連,這種直接相連的數(shù)據(jù)存儲(chǔ)技術(shù),系統(tǒng)的運(yùn)行成本相對較小,被廣泛的應(yīng)用在計(jì)算機(jī)網(wǎng)絡(luò)集群環(huán)境中,具有良好的擴(kuò)展性。例如,計(jì)算機(jī)網(wǎng)絡(luò)中的服務(wù)器分布比較分散,利用普通的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)行連接在技術(shù)上有很大的困難,這時(shí)可以利用DAS技術(shù)。但是這種技術(shù)最大的缺點(diǎn)是不具有共享性,需要計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中每一個(gè)客戶終端配置一個(gè)單獨(dú)的服務(wù)器,給網(wǎng)絡(luò)的管理存儲(chǔ)維護(hù)帶來了很大的難度,服務(wù)器一旦發(fā)生故障,存儲(chǔ)數(shù)據(jù)信息很難進(jìn)行恢復(fù),網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的容量空間難以進(jìn)行拓展,在這種背景下,網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的普及受到了很大程度的限制。

3、NAS。NAS是一種計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中重要的數(shù)據(jù)存儲(chǔ)附加技術(shù),計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)附加技術(shù)能夠直接將計(jì)算機(jī)磁盤序列和計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)連接起來,NAS技術(shù)的服務(wù)器主要由計(jì)算機(jī)存儲(chǔ)硬件和計(jì)算機(jī)操作系統(tǒng)共同組成[2],在應(yīng)用過程中,具有很強(qiáng)的拓展性,并且SAN技術(shù)和計(jì)算機(jī)網(wǎng)絡(luò)互聯(lián)的設(shè)備價(jià)格相對較低,安裝操作簡單便捷,具有可靠、安全、高容、高效等特點(diǎn),被廣泛的應(yīng)用在法律環(huán)境、電子出版以及圖像教育等領(lǐng)域,這些領(lǐng)域都對于數(shù)據(jù)存儲(chǔ)容量有著很高的要求。與此同時(shí),NAS技術(shù)的網(wǎng)絡(luò)協(xié)議開銷較大,在數(shù)據(jù)文件訪問過程中,NAS技術(shù)很難適應(yīng)高訪問速度的網(wǎng)絡(luò)應(yīng)用,例如計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)庫的存儲(chǔ)應(yīng)用,NAS會(huì)占據(jù)大量的帶寬,并且NAS難以兼容多種不同存儲(chǔ)設(shè)備,無法對設(shè)備進(jìn)行統(tǒng)一的管理和控制,這樣就限制了NAS技術(shù)在某些領(lǐng)域的應(yīng)用。

二、現(xiàn)代化網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的分析和應(yīng)用

1、云存儲(chǔ)。云存儲(chǔ)技術(shù)是依托云計(jì)算應(yīng)用技術(shù)發(fā)展而來的,云存儲(chǔ)技通過計(jì)算機(jī)網(wǎng)絡(luò)中的相關(guān)軟件將多種存數(shù)設(shè)備集合和聯(lián)系在一起,協(xié)調(diào)運(yùn)行和工作,充分運(yùn)用了網(wǎng)絡(luò)技術(shù)和集群應(yīng)用等功能,實(shí)現(xiàn)了對外的數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問等功能。云存儲(chǔ)是電子信息時(shí)代的一種非常具有代表性的存儲(chǔ)技術(shù),和其他的網(wǎng)絡(luò)存儲(chǔ)技術(shù)相比,不僅具有很大的價(jià)格優(yōu)勢,有效地降低了計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)數(shù)據(jù)儲(chǔ)存的運(yùn)行成本,還提高了計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)的拓展性和靈活性。

2、OBS。OBS是一種基于計(jì)算機(jī)應(yīng)用對象的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù),其包含著存儲(chǔ)屬性可拓展的數(shù)據(jù)存儲(chǔ)容器和存儲(chǔ)長度可變的存儲(chǔ)模塊[3],是一種重要的組織邏輯方式,能夠提供多種類似于文件的訪問方式,如文件的關(guān)閉、讀寫、打開等,OBS數(shù)據(jù)存儲(chǔ)技術(shù)融合了SAN和NAS技術(shù)的優(yōu)點(diǎn),利用計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)統(tǒng)一的對象接口,有效地提高了網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的拓展性,提高了計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的運(yùn)行性能。OBS技術(shù)最主要的特點(diǎn)就是將計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)中相關(guān)的物理數(shù)據(jù)存儲(chǔ)圖標(biāo)放置在系統(tǒng)的存儲(chǔ)設(shè)備中,當(dāng)前OBS技術(shù)是計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)領(lǐng)域關(guān)注的重點(diǎn)技術(shù),其較強(qiáng)的拓展性和高性能,使得OBS技術(shù)廣泛的應(yīng)用在計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)領(lǐng)域。

三、結(jié)束語

無論是傳統(tǒng)的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)還是現(xiàn)代化的網(wǎng)絡(luò)存儲(chǔ)技術(shù),都需要不斷地改進(jìn)和發(fā)展,不斷提高網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的可靠性、安全性和拓展性,推動(dòng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)的廣泛應(yīng)用。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于云技術(shù)的分布式實(shí)時(shí)是數(shù)據(jù)庫高性能數(shù)據(jù)存儲(chǔ)檢索機(jī)制探析

云技術(shù)是當(dāng)前先進(jìn)的技術(shù),把實(shí)時(shí)數(shù)據(jù)存儲(chǔ)檢索技術(shù)以云技術(shù)結(jié)合起來創(chuàng)新實(shí)時(shí)數(shù)據(jù)庫高性能數(shù)據(jù)庫存儲(chǔ)檢索機(jī)制是今后未來發(fā)展的必然趨勢,加強(qiáng)對這一趨勢的研究有重要意義。本文將以云計(jì)算技術(shù)為基礎(chǔ),通過分布式通訊服務(wù)平臺(tái)結(jié)合應(yīng)用需求來重點(diǎn)研究數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)檢索機(jī)制。

【關(guān)鍵詞】云計(jì)算 數(shù)據(jù)庫 存儲(chǔ) 檢索

隨著信息技術(shù)的快速發(fā)展,數(shù)據(jù)存儲(chǔ)和處理技術(shù)也隨之取得了快速發(fā)展。云計(jì)算技術(shù)也應(yīng)運(yùn)而生。與傳統(tǒng)的數(shù)據(jù)處理方式相比基于云計(jì)算的分布式高性能數(shù)據(jù)庫優(yōu)勢更加明顯?;谠朴?jì)算分布式實(shí)時(shí)數(shù)據(jù)庫能夠?qū)崿F(xiàn)數(shù)據(jù)的永久存儲(chǔ),同時(shí)它還能夠盡可能地在同一地點(diǎn)處理數(shù)據(jù),這樣可以有效降低數(shù)據(jù)傳輸時(shí)間的消耗。

基于云技術(shù)的分布式實(shí)時(shí)數(shù)據(jù)庫能充分利用高性能廣域網(wǎng)絡(luò)。這種掛數(shù)據(jù)庫主要是通過數(shù)據(jù)流的形式來對存儲(chǔ)云中的數(shù)據(jù)來進(jìn)行專業(yè)化地處理,通過這種方式定義的計(jì)算函數(shù)就能夠?qū)Υ鎯?chǔ)云所管理的刷數(shù)據(jù)進(jìn)行有針對性處理。

1 云計(jì)算技術(shù)介紹

研究分布式數(shù)據(jù)庫高性能數(shù)據(jù)存儲(chǔ)檢索機(jī)制,首先就需要掌握云計(jì)算技術(shù)。了解云計(jì)算技術(shù)是研究的重要前提。近些年來云計(jì)算技術(shù)獲得了迅猛發(fā)展,依托于云計(jì)算技術(shù)本身的產(chǎn)品也獲得了較快發(fā)展。云計(jì)算技術(shù)主要是將效用計(jì)算、網(wǎng)絡(luò)存儲(chǔ)、網(wǎng)格計(jì)算以及負(fù)載均衡等領(lǐng)域進(jìn)行綜合而形成的一種專業(yè)性技術(shù)。

通常情況下云計(jì)算技術(shù)本身包含海量數(shù)據(jù)的分布式存儲(chǔ)技術(shù)、分布式實(shí)時(shí)事務(wù)提交協(xié)議、網(wǎng)絡(luò)動(dòng)態(tài)路由與負(fù)載均衡技術(shù)、事務(wù)實(shí)時(shí)調(diào)度機(jī)制等核心技術(shù)。這幾種技術(shù)對于分布式實(shí)時(shí)數(shù)據(jù)庫的構(gòu)建具有重要意義。

2 分布式實(shí)時(shí)數(shù)據(jù)庫的框架

分布式實(shí)時(shí)數(shù)據(jù)庫是云計(jì)算技術(shù)與實(shí)時(shí)數(shù)據(jù)庫技術(shù)深度融合的產(chǎn)物,該數(shù)據(jù)庫主要是通過計(jì)算機(jī)集群來進(jìn)行構(gòu)建。該數(shù)據(jù)庫具有可擴(kuò)展、系統(tǒng)性、可靠性、可維護(hù)性高等特點(diǎn)。負(fù)載均衡、事務(wù)調(diào)度、沖突處理、數(shù)據(jù)存儲(chǔ)等是其主要內(nèi)容。分布式實(shí)時(shí)數(shù)據(jù)庫主要是通過分布式通訊服務(wù)平臺(tái)的客戶端結(jié)構(gòu)接入到該平臺(tái)中的。某個(gè)節(jié)點(diǎn)在接入分布式應(yīng)用服務(wù)之后就可以實(shí)現(xiàn)與同樣服務(wù)的其他節(jié)點(diǎn)的有效連接。

多臺(tái)數(shù)據(jù)服務(wù)器的數(shù)據(jù)存儲(chǔ),檢索組件則是通過接入平臺(tái)結(jié)成一個(gè)統(tǒng)一的數(shù)據(jù)存儲(chǔ)以及數(shù)據(jù)檢索服務(wù)來向外提供服務(wù)的。這樣一種服務(wù)機(jī)制實(shí)際上打破了原來那種單臺(tái)實(shí)時(shí)數(shù)據(jù)處理服務(wù)器的孤島。對于數(shù)據(jù)的查俊則是用平臺(tái)接口把客戶端同服務(wù)平臺(tái)連接起來實(shí)現(xiàn)的。

3 分布式實(shí)時(shí)數(shù)據(jù)庫存儲(chǔ)機(jī)制

針對基于云計(jì)算分布式實(shí)時(shí)數(shù)據(jù)庫存儲(chǔ)機(jī)制的設(shè)計(jì),重點(diǎn)是要在規(guī)模動(dòng)態(tài)調(diào)整能力、數(shù)據(jù)一致性、分布式冗余存儲(chǔ)等方面來進(jìn)行調(diào)整和設(shè)計(jì)。在實(shí)際設(shè)計(jì)過程中必須要能夠達(dá)到以下目的:一是適當(dāng)增加服務(wù)器節(jié)點(diǎn)從而實(shí)現(xiàn)系統(tǒng)并發(fā)處理能力,最終提升數(shù)據(jù)存儲(chǔ)容量。二是系統(tǒng)數(shù)據(jù)存儲(chǔ)的實(shí)時(shí)性和高可用性得到增強(qiáng)。三是實(shí)現(xiàn)高效的數(shù)據(jù)備份冗余,從而來有效避免數(shù)據(jù)讀寫失敗情況的出現(xiàn)。有的條件下甚至是可以用一致性維護(hù)機(jī)制來保證備份數(shù)據(jù)的一致。四是服務(wù)器節(jié)點(diǎn)可崩潰,恢復(fù)以及在線加入。

存儲(chǔ)云結(jié)構(gòu)主要是由主管服務(wù)器、安全服務(wù)器、客戶端以及從屬節(jié)點(diǎn)等構(gòu)成。這些設(shè)備在系統(tǒng)中承擔(dān)的功能各有不同。主管服務(wù)器主要是維持系統(tǒng)內(nèi)的元數(shù)據(jù),提供目錄服務(wù)、響應(yīng)用戶請求、控制從屬節(jié)點(diǎn)運(yùn)行等。從屬節(jié)點(diǎn)主要指的是那些存儲(chǔ)數(shù)據(jù)的文件,這些節(jié)點(diǎn)通常是基于存儲(chǔ)云客戶端的請求而需要處理數(shù)據(jù)的節(jié)點(diǎn)。從屬節(jié)點(diǎn)一般只接受主服務(wù)器的指令,客戶端、從屬節(jié)點(diǎn)的關(guān)系以及從屬節(jié)點(diǎn)之間的關(guān)系則主要是由主節(jié)點(diǎn)來進(jìn)行協(xié)調(diào)。

存儲(chǔ)云結(jié)構(gòu)能夠?qū)崿F(xiàn)高速緩存數(shù)據(jù)連接,這樣就能夠有效改變同一隊(duì)節(jié)點(diǎn)間,數(shù)據(jù)傳輸需要多次連接的現(xiàn)狀。該系統(tǒng)的安全機(jī)制主要是通過存取控制列表來實(shí)現(xiàn)的。存儲(chǔ)云結(jié)構(gòu)中的數(shù)據(jù)需要由存取控制列表來進(jìn)行控制,客戶端IP地質(zhì)也需要在服務(wù)器內(nèi)部。數(shù)據(jù)的組織和處理是按照以下方式來實(shí)現(xiàn)的:在存儲(chǔ)云結(jié)構(gòu)中每個(gè)數(shù)據(jù)文件一般都附有一個(gè)索引文件,數(shù)據(jù)文件和索引文件都存在與相同節(jié)點(diǎn)中。復(fù)制數(shù)據(jù)文件的同時(shí),牽引文件也將會(huì)被復(fù)制。索引文件本身包含每個(gè)記錄的起始地址以及末端地址。那些沒有索引文件的數(shù)據(jù)文件則主要是通過文件為單位的方式來進(jìn)行處理。此時(shí)就需要通過特定函數(shù)來解析以及提取數(shù)據(jù)。

數(shù)據(jù)服務(wù)器在加入分布式通訊服務(wù)平臺(tái)之后就會(huì)形成一個(gè)分布式系統(tǒng)整體,服務(wù)器節(jié)點(diǎn)加入之后就可以通過平臺(tái)來轉(zhuǎn)發(fā)數(shù)據(jù)并進(jìn)行備份。在存儲(chǔ)云結(jié)構(gòu)中點(diǎn)歌服務(wù)節(jié)點(diǎn)只需要關(guān)注自身的數(shù)據(jù)接手法以及存儲(chǔ)。通過該結(jié)構(gòu)能夠?qū)崿F(xiàn)單個(gè)節(jié)點(diǎn)數(shù)據(jù)處理同復(fù)雜分布式架構(gòu)邏輯的分離。這對于最大程度利用實(shí)時(shí)數(shù)據(jù)庫存儲(chǔ)技術(shù)具有重要意義。

4 分布式實(shí)時(shí)數(shù)據(jù)庫檢索機(jī)制

高性能數(shù)據(jù)檢索具有明顯特點(diǎn),它的查詢耗時(shí)和結(jié)果正確率是影響數(shù)據(jù)庫性能的重要指標(biāo)。分布式實(shí)時(shí)數(shù)據(jù)庫檢索機(jī)制有以下幾個(gè)特點(diǎn):一是數(shù)據(jù)最終的一致性。通常情況下數(shù)據(jù)在同步完成之前,數(shù)據(jù)備份之間往往存在不一致情況,此時(shí)系統(tǒng)通過一致性維護(hù)機(jī)制就可以實(shí)現(xiàn)數(shù)據(jù)的最終一致性。二是數(shù)據(jù)一致性修復(fù)。系統(tǒng)中數(shù)據(jù)一致性恢復(fù)主要是通過數(shù)據(jù)一致性對比、修復(fù)機(jī)制來實(shí)現(xiàn)備份數(shù)據(jù)間的一致性,從而最終達(dá)到分布式的最終一致性。三是查詢的一致性等級(jí)。所謂查詢的一致性等級(jí)主要指的是用戶指定查詢結(jié)果的一致性等級(jí)。對于那些一致性要求較高的一般四通過數(shù)據(jù)點(diǎn)的主備份節(jié)點(diǎn)來進(jìn)行查詢處理,對于那些一致性要求不高的請求則是要盡可能降低數(shù)據(jù)檢索耗時(shí)。

分布式數(shù)據(jù)查詢,按照查詢位置不同可以分為當(dāng)前節(jié)點(diǎn)數(shù)據(jù)查詢和備份節(jié)點(diǎn)數(shù)據(jù)查詢兩種情況。針對備份節(jié)點(diǎn)的數(shù)據(jù)查詢主要是通過當(dāng)前節(jié)點(diǎn)數(shù)據(jù)查詢來實(shí)現(xiàn)的。本地節(jié)點(diǎn)數(shù)據(jù)查詢本身又可以分為實(shí)時(shí)數(shù)據(jù)查詢和歷史數(shù)據(jù)查詢兩種方式。歷史數(shù)據(jù)的查詢則可分為存檔緩存查詢和磁盤數(shù)據(jù)查詢。

云計(jì)算技術(shù)是當(dāng)前一種先進(jìn)的信息技術(shù),這種技術(shù)在分布式實(shí)時(shí)數(shù)據(jù)庫中的應(yīng)用是時(shí)展的必然要求。在今后應(yīng)該不斷加強(qiáng)云計(jì)算技術(shù)的研究。本文首先分析了云計(jì)算技術(shù),而后分析了分布式實(shí)時(shí)數(shù)據(jù)庫的總框架,之后重點(diǎn)分析了存儲(chǔ)結(jié)構(gòu)和檢索機(jī)制?;谠萍夹g(shù)的分布式實(shí)時(shí)數(shù)據(jù)庫中數(shù)據(jù)存儲(chǔ)和檢索是其中的重要功能。加強(qiáng)這兩方面的研究有重要意義。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:XML技術(shù)上的數(shù)據(jù)存儲(chǔ)技術(shù)分析

【摘要】 XML的良好的可擴(kuò)展性和能夠進(jìn)行自我描述的特性使得它的應(yīng)用范圍越來越廣泛,本文將對基于XML技術(shù)的數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)行總結(jié)與歸納,整理出不同數(shù)據(jù)存儲(chǔ)技術(shù)的技術(shù)特征與要點(diǎn)。

【關(guān)鍵詞】XML數(shù)據(jù)存儲(chǔ)

Web應(yīng)用的發(fā)展帶動(dòng)了XML技術(shù)的發(fā)展,XML已經(jīng)成為了網(wǎng)絡(luò)上的數(shù)據(jù)交換標(biāo)準(zhǔn)中的一種。XML技術(shù)的發(fā)展與其優(yōu)秀的數(shù)據(jù)表達(dá)能力有關(guān),它可以用來表達(dá)各種不同類型的數(shù)據(jù),有鑒于此,XML數(shù)據(jù)存儲(chǔ)技術(shù)對發(fā)揮XML數(shù)據(jù)表達(dá)特性非常重要。目前常見的XML的數(shù)據(jù)存儲(chǔ)方式主要有三種,分別是文本文件方式、關(guān)系數(shù)據(jù)庫方式以及面向?qū)ο髷?shù)據(jù)庫方式,本文將分析這三種存儲(chǔ)技術(shù)的特點(diǎn)。

一、 文本文件方式

XML文檔本質(zhì)就是文本文件,所以以文本文件方式進(jìn)行數(shù)據(jù)存儲(chǔ)是最為常見的XML存儲(chǔ)數(shù)據(jù)方式,這種方式存儲(chǔ)的數(shù)據(jù)可以直接使用文本編輯工具查看,非常易于參看與修改。使用文本文件方式存儲(chǔ)數(shù)據(jù)并不意味著只能存儲(chǔ)文本,此種方式同樣可以存儲(chǔ)二進(jìn)制數(shù)據(jù),也就是能夠存儲(chǔ)任意數(shù)據(jù),只是數(shù)據(jù)不能以一種直觀的展現(xiàn)方式呈現(xiàn),需要其他的工具支持。

XML文檔一般是通過DOM或者是SAX等接口進(jìn)行存取,應(yīng)用這些接口可以很方便的管理XML中存儲(chǔ)的數(shù)據(jù)。實(shí)現(xiàn)XML文檔操作接口的商業(yè)產(chǎn)品有許多種,也可以自行實(shí)現(xiàn)接口,針對性的提升XML數(shù)據(jù)存取性能。

應(yīng)用文本文件方式進(jìn)行數(shù)據(jù)存儲(chǔ)的優(yōu)點(diǎn):

* 方便查看與修改,對于一些輕量級(jí)XML文檔,可以直接使用各類文檔編輯工具進(jìn)行編輯。

* 操作簡單,可使用相關(guān)接口方便的對數(shù)據(jù)進(jìn)行存取,不需要對原始數(shù)據(jù)進(jìn)行處理。

由于XML存儲(chǔ)數(shù)據(jù)的結(jié)構(gòu)是半結(jié)構(gòu)化式,所以以文本文件方式存取數(shù)據(jù)存在著一定的局限性,對于結(jié)構(gòu)復(fù)雜的數(shù)據(jù)難以清晰、準(zhǔn)確的操作。

二、 關(guān)系型數(shù)據(jù)庫方式

XML文件存儲(chǔ)的數(shù)據(jù)是半結(jié)構(gòu)化式的,在實(shí)際工程中,所用到的數(shù)據(jù)往往需要關(guān)系型數(shù)據(jù)庫的支持,為了達(dá)到將XML文件中存儲(chǔ)的數(shù)據(jù)作為關(guān)系型數(shù)據(jù)庫使用的目的,通常在XML文件和關(guān)系型數(shù)據(jù)庫中添加一個(gè)映射層,它將承擔(dān)對XML文件數(shù)據(jù)的存取任務(wù),同時(shí)也承擔(dān)為數(shù)據(jù)庫提供數(shù)據(jù)以及映射數(shù)據(jù)庫數(shù)據(jù)到XML文檔中的任務(wù)。

映射層的工作流程可以分為以下四個(gè)步驟:

1) 提取XML文檔中的數(shù)據(jù),按照映射規(guī)則組織數(shù)據(jù),生成可以供關(guān)系型數(shù)據(jù)庫使用的模式。

2) 依據(jù)填充規(guī)則將數(shù)據(jù)向關(guān)系型數(shù)據(jù)庫中的表中填充。

3) 將XML查詢方式轉(zhuǎn)換為數(shù)據(jù)庫使用的SQL查詢方式。

4) 將關(guān)系型數(shù)據(jù)庫的數(shù)據(jù)重新轉(zhuǎn)化,寫入XML文檔。

這種數(shù)據(jù)存儲(chǔ)技術(shù)最為關(guān)鍵的部分是映射層,映射層的工作中最為重要的部分是將XML文件這種文檔結(jié)構(gòu)映射為關(guān)系模式的任務(wù),映射策略的優(yōu)劣對整體性能有著至關(guān)重要的影響,按照映射策略的不同,可以分為模型映射與結(jié)構(gòu)映射。模型映射的策略是建立數(shù)據(jù)模型,根據(jù)模型的特征先行定義出一個(gè)關(guān)系型數(shù)據(jù)庫模式,無需模式文件的幫助。而結(jié)構(gòu)映射是依靠如Schema等模式文件的幫助,完成到關(guān)系模式的轉(zhuǎn)換,整個(gè)過程中無需定義關(guān)系模式。

三、 面向?qū)ο髷?shù)據(jù)庫方式

除以上兩種較為常見的方式外,還有面向?qū)ο髷?shù)據(jù)庫的存儲(chǔ)方式。與關(guān)系數(shù)據(jù)庫相反,這種方式中將數(shù)據(jù)庫作為底層存儲(chǔ)者,將XML文檔作為一個(gè)對象、作為數(shù)據(jù)的載體,存儲(chǔ)在數(shù)據(jù)庫中。

在XML文檔與數(shù)據(jù)庫映射過程中,一般情況下需要Schema或者是DTD的輔助,XML文檔中的元素對應(yīng)數(shù)據(jù)庫中的類、元素屬性值對應(yīng)列,元素與元素之間的關(guān)系對應(yīng)數(shù)據(jù)庫中類于類的關(guān)系。

在將XML文檔映射進(jìn)面向?qū)ο髷?shù)據(jù)庫中時(shí),具體步驟如下:

1) 依據(jù)XML文檔創(chuàng)建DOM樹,按照先樹根后樹葉的方式進(jìn)行遍歷搜索。

2) 對搜索到的元素進(jìn)行校驗(yàn),提取元素信息。

3) 將得到的元素填入面向?qū)ο髷?shù)據(jù)庫中對應(yīng)的對象的相應(yīng)域中。

當(dāng)從數(shù)據(jù)庫中提出數(shù)據(jù),重新映射為XML文檔時(shí),具體步驟如下:

1) 提取數(shù)據(jù)庫中的對象,并生成XML文檔中的對應(yīng)元素。

2) 將對象的數(shù)據(jù)域映射為元素的屬性值,寫入XML文檔中。

3) 遍歷對象里的子對象域,重復(fù)進(jìn)行步驟1和2。

4) 將所有的對象轉(zhuǎn)換完成后,封閉根元素,結(jié)束映射。

這種存儲(chǔ)方法可以方便的建立起XML文檔中所攜數(shù)據(jù)的對象模式,通過面向?qū)ο髷?shù)據(jù)庫對數(shù)據(jù)進(jìn)行結(jié)構(gòu)化操作,有著較出色的存儲(chǔ)效率。

四、 結(jié)束語

正是因?yàn)閄ML的應(yīng)用范圍廣泛,不同的應(yīng)用方向?qū)?shù)據(jù)的存儲(chǔ)要求不同,所以XML有多種數(shù)據(jù)存儲(chǔ)技術(shù),文中提到的數(shù)據(jù)存儲(chǔ)方式是較為常見的幾種,每種都有自己的特性,究竟使用何種存儲(chǔ)手段取決于具體的使用需求。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:Web多媒體數(shù)據(jù)存儲(chǔ)技術(shù)應(yīng)用研究

摘要:討論了Web多媒體數(shù)據(jù)的存儲(chǔ)方式,重點(diǎn)研究了圖片文件在SQL Server 2005中的存儲(chǔ)方法,并實(shí)現(xiàn)了利用對二進(jìn)制數(shù)據(jù)文件的讀取及顯示方法,最后討論了其他多媒體文件存儲(chǔ)方式所需要考慮的多方面問題,為Web應(yīng)用中多媒體數(shù)據(jù)存儲(chǔ)提供了參考。

關(guān)鍵詞:數(shù)據(jù)庫;多媒體數(shù)據(jù)存儲(chǔ);SQL Server 2005;web應(yīng)用

早期因特網(wǎng)瀏覽器僅支持文本,甚至被限制為單一顏色的單一字體。隨著Internet的快速發(fā)展以及網(wǎng)絡(luò)傳輸率的提高,人們對Web上的媒體需求越來越多,文本、書籍、圖片、音頻、視頻等各種各樣的多媒體資源目前在瀏覽器中已經(jīng)得到了很好的支持。

在Web應(yīng)用程序開發(fā)和使用過程中,有相當(dāng)多的場合需要使用多媒體內(nèi)容表達(dá)程序,因此對多媒體的數(shù)據(jù)進(jìn)行存儲(chǔ)就顯得非常重要了。例如在人事管理系統(tǒng)中,需要存儲(chǔ)員工照片、掃描并存儲(chǔ)員工學(xué)歷證書獲獎(jiǎng)證書并能夠通過應(yīng)用程序顯示。又如在教學(xué)資源管理系統(tǒng)中,需要存儲(chǔ)文字資源、圖片資源、課件資源、音頻資源及視頻資源以供查閱。再如在多媒體論壇上,需要由用戶上傳多種多媒體資源,包括圖片、聲音、視頻等。

在web應(yīng)用程序中引用的多媒體資源存儲(chǔ)方式一般有兩種方式,一種是存儲(chǔ)文件到指定路徑下,將文件與應(yīng)用程序的相對路徑以及文件名存儲(chǔ)到數(shù)據(jù)庫中,數(shù)據(jù)庫中存儲(chǔ)的內(nèi)容相對較少。這種存儲(chǔ)方式的特點(diǎn)是數(shù)據(jù)讀取比較容易,但是對數(shù)據(jù)管理不方便,多媒體的信息完全暴露在機(jī)器設(shè)備之上,信息容易被刪除、修改或者替換,數(shù)據(jù)的安全性和可靠性得不到保證,這種方式不利于保存重要的媒體信息。另外一種就是把多媒體信息直接保存在數(shù)據(jù)庫中,保證了數(shù)據(jù)的一致性和安全性,這也是目前多媒體數(shù)據(jù)庫的發(fā)展趨勢,但這種方式的數(shù)據(jù)讀取比較麻煩,因?yàn)橐话愣嗝襟w數(shù)據(jù)都是以二進(jìn)制的數(shù)據(jù)存儲(chǔ)方式存儲(chǔ)在數(shù)據(jù)庫中,需要通過第三方的工具來完成數(shù)據(jù)的存儲(chǔ)和讀取。該文主要研究以多媒體數(shù)據(jù)庫實(shí)現(xiàn)圖片的二進(jìn)制存儲(chǔ)和讀取方法,并比較其他類型多媒體文件存儲(chǔ)方式的應(yīng)用。

1 SQL Server 2005數(shù)據(jù)表的建立

1.1數(shù)據(jù)類型選擇

圖片數(shù)據(jù)要存儲(chǔ)在數(shù)據(jù)庫中實(shí)際上就是用二進(jìn)制數(shù)據(jù)的形式將圖片數(shù)據(jù)存儲(chǔ)在數(shù)據(jù)庫中,需要使用的時(shí)候利用二進(jìn)制讀取方式讀取文件。在SQL Server 2000中,有Image、Binary和varbinary三種數(shù)據(jù)類型可以用來存儲(chǔ)二進(jìn)制文件。在SQL Server 2005中,有Image、Binary、VarBinary(n)和VarBianry(max)這幾種數(shù)據(jù)類型都能夠用來存儲(chǔ)二進(jìn)制數(shù)據(jù)。初學(xué)者一般都會(huì)選擇Image這個(gè)數(shù)據(jù)類型來進(jìn)行圖片存儲(chǔ),這是由于該數(shù)據(jù)類型名稱的誤解,Image數(shù)據(jù)類型的文件大小可變,最大可存儲(chǔ)2GB的文件,若系統(tǒng)需要高精度的圖片存儲(chǔ),對于該數(shù)據(jù)類型無法存儲(chǔ)大容量的圖片數(shù)據(jù)。雖然該圖像數(shù)據(jù)類型也包含在SQL Server 2000、SQL Server 2005和SQL Server 2008之中,但微軟稱,目前還保留Image圖像數(shù)據(jù)類型是未來向下兼容的需要,但在將來某個(gè)時(shí)候可能就會(huì)將其舍棄,因此對于圖片存儲(chǔ)Image數(shù)據(jù)類型建議盡量少用。Binary數(shù)據(jù)類型要求固定的數(shù)據(jù)長度,最大長度可達(dá)8000字節(jié),對于系統(tǒng)中要存儲(chǔ)不同圖片來說是不理想的。VarBinary(n)數(shù)據(jù)類型其文件大小可變,最大長度可達(dá)8000字節(jié),對于文件較小的圖片來說可以使用。而VarBianry(max)數(shù)據(jù)類型其文件大小可變,不限文件大小的上限,對于系統(tǒng)中有大容量的圖片來說該數(shù)據(jù)類型是非常合適的。

2 存儲(chǔ)圖片到SQL Server2005的實(shí)現(xiàn)

2.1二進(jìn)制數(shù)據(jù)的插入

2.3.2 建立上傳數(shù)據(jù)后臺(tái)頁面

1)主要實(shí)現(xiàn)方法分析

上傳數(shù)據(jù)頁面的主要功能是先啟用數(shù)據(jù)緩沖區(qū),獲取圖像文件的路徑和文件名,若文件大小不為空數(shù)據(jù),建立文件流對象,然后用二進(jìn)制讀取方式將圖片文件讀取到緩沖區(qū)中,最后連接數(shù)據(jù)源生成記錄集,建立參數(shù)插入新紀(jì)錄。

3 讀取圖片并在web中顯示

顯示存儲(chǔ)在數(shù)據(jù)庫中的圖片文件首先需要把數(shù)據(jù)庫中的二進(jìn)制數(shù)據(jù)轉(zhuǎn)換為計(jì)算機(jī)內(nèi)存中的二進(jìn)制流,然后再把內(nèi)存流的數(shù)據(jù)轉(zhuǎn)換為圖像數(shù)據(jù),最后把圖片放到頁面中顯示。

3.1讀取圖片數(shù)據(jù)流程

從數(shù)據(jù)庫讀取圖片數(shù)據(jù)的流程如下:

4 其他多媒體文件存儲(chǔ)方式分析

在考慮存儲(chǔ)各類多媒體文件方式的時(shí)候,我們需要從多個(gè)方面考慮,來選擇合適的存儲(chǔ)方式。

1)性能方面要求:二進(jìn)制對象對性能要求并不高,如果多媒體文件對性能要求較高,特別是視頻流之類,那么將多媒體文件保留在文件系統(tǒng)中會(huì)比二進(jìn)制文件存儲(chǔ)會(huì)獲得更高的性能。

2)數(shù)據(jù)大小要求:如果需要經(jīng)常檢索二進(jìn)制對象,文件大小又非常大,比如大型的視頻文件,那么利用文件系統(tǒng)來檢索和讀取的效率比從SQL Server顯示和讀取的效率更高。

3)安全性要求:二進(jìn)制對象是存儲(chǔ)在SQL Server中的,可以通過常規(guī)的數(shù)據(jù)庫訪問方式來管理其安全性。但如果文件存儲(chǔ)在文件系統(tǒng)中,那么其安全性就相對要低,需要考慮用其他的代替方式來進(jìn)行保證其安全性,例如增加安全性軟件,安全性管理機(jī)制等。

4)客戶訪問方式:客戶對數(shù)據(jù)庫的訪問方式也會(huì)直接決定多媒體文件的存儲(chǔ)形式,若數(shù)據(jù)庫采用ODBC方式連接,那么對于大型的視頻流存儲(chǔ)可能會(huì)出現(xiàn)連接超時(shí)或連接失敗的情況。因此ODBC的連接方式下建議采用文件系統(tǒng)來進(jìn)行存儲(chǔ),以免對web應(yīng)用產(chǎn)生影響。

5)碎片處理:如果需要經(jīng)常對二進(jìn)制文件對象進(jìn)行修改操作,又或者文件非常巨大,文件系統(tǒng)處理碎片的能力高于SQL Server,這種情況下利用文件系統(tǒng)存儲(chǔ)會(huì)比較優(yōu)越。

6)事務(wù)控制:如果web系統(tǒng)需要進(jìn)行事務(wù)控制,那么利用SQL Server內(nèi)置事務(wù)解決方案能更好的處理事務(wù)控制,比文件系統(tǒng)要更好的得到事務(wù)的控制及各類事務(wù)處理機(jī)制。

在分析多媒體數(shù)據(jù)存儲(chǔ)方式的時(shí)候,不能夠單一的只考慮某一方面的問題,應(yīng)該從多個(gè)方面來進(jìn)行綜合性考慮,特別是大文件視頻流或音頻流文件,處理起來比圖片要更復(fù)雜,要考慮的問題更多,應(yīng)該根據(jù)實(shí)際應(yīng)用的需要進(jìn)行選擇。

5 結(jié)束語

本文通過對Web下多媒體數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)行研究,分析了多媒體數(shù)據(jù)存儲(chǔ)的兩種情況,重點(diǎn)討論了BLOB文件存儲(chǔ)方式存儲(chǔ)圖片的方法,并實(shí)現(xiàn)了在SQL Server 2005中建立數(shù)據(jù)庫存儲(chǔ)圖像的過程,利用查詢T-SQL查詢數(shù)據(jù)的方法,并介紹利用實(shí)現(xiàn)圖片存儲(chǔ)、讀取并在web中顯示,實(shí)現(xiàn)了在web中圖片存儲(chǔ)的主要技術(shù)。最后討論了其他多媒體文件存儲(chǔ)時(shí)要考慮的問題,包括性能、數(shù)據(jù)大小、安全性要求、訪問方式等多方面的建議,從而對其他web系統(tǒng)中各類多媒體數(shù)據(jù)的存儲(chǔ)提供有效的參考。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:數(shù)據(jù)存儲(chǔ)安全隱患及其防范技術(shù)

摘 要:隨著計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)在人們的日常生活中的廣泛應(yīng)用,計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)安全技術(shù)已經(jīng)引起了國內(nèi)外學(xué)者的廣泛關(guān)注。本文通過相關(guān)參考文獻(xiàn)的閱讀分析,對計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)安全技術(shù)進(jìn)行了比較深入的研究,有助于人們對數(shù)據(jù)存儲(chǔ)安全的認(rèn)識(shí),對于計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)的維護(hù)具有一定的指導(dǎo)作用。

關(guān)鍵詞:數(shù)據(jù)存儲(chǔ);計(jì)算機(jī);安全廣泛

隨著計(jì)算機(jī)網(wǎng)路信息技術(shù)的不斷發(fā)展,為了便于實(shí)現(xiàn)人與企業(yè)之間的信息交流,網(wǎng)絡(luò)之技術(shù)已經(jīng)深入到企業(yè)發(fā)展的過程之中,所以網(wǎng)絡(luò)安全問題已經(jīng)成為信息安全領(lǐng)域的關(guān)鍵問題。本文通過相關(guān)參考文獻(xiàn)的閱讀分析,對計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)安全技術(shù)進(jìn)行了比較深入的研究,有助于人們對數(shù)據(jù)存儲(chǔ)安全的認(rèn)識(shí),對于計(jì)算機(jī)網(wǎng)絡(luò)數(shù)據(jù)的維護(hù)具有一定的指導(dǎo)作用。

1 影響計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)安全的軟件與硬件因素

1.1 硬件因素分析。影響計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的物理因素主要包括以下幾個(gè)方面:(1)自然因素,隨著現(xiàn)代信息技術(shù)的不斷發(fā)展,計(jì)算機(jī)網(wǎng)絡(luò)已經(jīng)成為人們?nèi)粘I畈豢扇鄙俚囊徊糠帧τ谟?jì)算機(jī)而言硬盤中存儲(chǔ)著很多人們?nèi)粘I钏枰臄?shù)據(jù)信息。在計(jì)算機(jī)網(wǎng)絡(luò)運(yùn)營的過程中,會(huì)因?yàn)榭赡艿母鞣N自然災(zāi)害導(dǎo)致了數(shù)據(jù)傳輸線路的中斷,將會(huì)造成各種數(shù)據(jù)的丟失。(2)網(wǎng)絡(luò)硬件方面,隨著計(jì)算機(jī)網(wǎng)絡(luò)硬件技術(shù)的不斷更新?lián)Q代,,但是數(shù)據(jù)的增長量卻會(huì)呈現(xiàn)出爆發(fā)性的增長,結(jié)果導(dǎo)致了目前的數(shù)據(jù)存儲(chǔ)硬件無法滿足實(shí)際的存儲(chǔ)需要。所以要對存儲(chǔ)數(shù)據(jù)的硬件技術(shù)進(jìn)行優(yōu)化升級(jí),能夠滿足對數(shù)據(jù)存儲(chǔ)的需求。在過去的網(wǎng)路傳輸中由于設(shè)備的老化,導(dǎo)致了數(shù)據(jù)傳輸?shù)乃俣容^慢,網(wǎng)絡(luò)數(shù)據(jù)傳輸?shù)难舆t時(shí)間較長,導(dǎo)致了數(shù)據(jù)傳輸?shù)谋罎?,造成了?shù)據(jù)的丟失。(3)數(shù)據(jù)的操作失誤,數(shù)據(jù)管理人員無論在進(jìn)行怎樣的軟件操作時(shí),都有可能會(huì)出現(xiàn)數(shù)據(jù)管理操作失誤的情況,有一些不良的操作會(huì)導(dǎo)致數(shù)據(jù)系統(tǒng)的安全性受到很大的沖擊。

1.2 影響計(jì)算機(jī)數(shù)據(jù)安全的軟件因素。影響計(jì)算機(jī)數(shù)據(jù)安全技術(shù)的軟件技術(shù)主要有以下三個(gè)方面:(1)電磁波的輻射,在計(jì)算機(jī)存儲(chǔ)的各種數(shù)據(jù)在一定程度上會(huì)被電磁波帶出,非法分子通過使用一些無線數(shù)據(jù)接收器,就能獲得相應(yīng)的數(shù)據(jù)信息;(2)網(wǎng)絡(luò)安全因素:計(jì)算機(jī)網(wǎng)路使得各個(gè)電腦硬盤內(nèi)存儲(chǔ)的數(shù)據(jù)實(shí)現(xiàn)了共享,在用戶與主機(jī)之間以及用戶和用戶之間將會(huì)出現(xiàn)大量的漏洞,使得計(jì)算機(jī)存儲(chǔ)的數(shù)據(jù)遭到了黑客的攻擊;(3)現(xiàn)代計(jì)算機(jī)網(wǎng)路在運(yùn)營的過程中雖然有防火墻的作用,但是防火墻目前由于存在狠毒偶的漏洞遭到了很多計(jì)算機(jī)病毒的入侵。這些病毒程序是可以通過網(wǎng)上下載以及電子郵件和盜版光盤的形式潛入計(jì)算機(jī)網(wǎng)絡(luò)。

2 計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)安全防范技術(shù)

2.1 數(shù)據(jù)存儲(chǔ)安全的物理防范措施。目前比較常用的物理防范措施主要體現(xiàn)在以下幾個(gè)方面:(1)數(shù)據(jù)備份,原始數(shù)據(jù)一旦丟失以后,那么應(yīng)該按照原始的副本進(jìn)行原始數(shù)據(jù)的維護(hù)。當(dāng)前比較經(jīng)常使用的數(shù)據(jù)本分技術(shù)有快照技術(shù)、數(shù)據(jù)鏡像技術(shù)、Raid技術(shù)以及云共享技術(shù)。一旦遇到自然災(zāi)害或者是人為的破壞數(shù)據(jù),可以通過上述方法實(shí)現(xiàn)數(shù)據(jù)的恢復(fù)。(2)數(shù)據(jù)安全刪除技術(shù),隨著最近幾年數(shù)據(jù)恢復(fù)技術(shù)的不斷發(fā)展,在計(jì)算機(jī)上通過操作系統(tǒng)對文件進(jìn)行刪除已經(jīng)變的不再可靠,如何實(shí)現(xiàn)有效的對信息進(jìn)行清除對計(jì)算機(jī)的數(shù)據(jù)安全威脅,去除計(jì)算機(jī)上有用的信息,正在成為當(dāng)今信息安全領(lǐng)域的新的研究熱點(diǎn)。所謂的數(shù)據(jù)安全刪除就是指對刪除數(shù)據(jù)的恢復(fù)過程進(jìn)行破壞,使得比較重要的數(shù)據(jù)一旦刪除以后,就無法進(jìn)行恢復(fù)。尤其是對于企業(yè)的發(fā)展而言,一些比較敏感數(shù)據(jù)的刪除是十分必要的。眾所周知高級(jí)格式化無法對數(shù)據(jù)內(nèi)的數(shù)據(jù)信息進(jìn)行覆蓋處理,因此也不能叫做安全處理。

2.2 軟件安全對策分析。計(jì)算機(jī)操作系統(tǒng)安全識(shí)別的策略主要體現(xiàn)在以下幾個(gè)方面。首先盡量使用安全性比較高的網(wǎng)絡(luò)操作系統(tǒng),關(guān)閉一些不經(jīng)常使用以及存在安全隱患的應(yīng)用程序。對于一些有用的信息進(jìn)行加密處理,在文檔的打開以及讀寫設(shè)施方面應(yīng)該有口令登錄設(shè)置。在網(wǎng)絡(luò)應(yīng)用系統(tǒng)的安全設(shè)置方面應(yīng)該盡量不要開放陌生的網(wǎng)絡(luò)端口。在上網(wǎng)建設(shè)方面,加強(qiáng)身份登錄口令的認(rèn)證,確保用戶上網(wǎng)的合法性。充分維護(hù)系統(tǒng)上網(wǎng)的日志功能,對用戶的網(wǎng)絡(luò)信息訪問進(jìn)行信息記錄,為日后的審查作為依據(jù)。

2.3 數(shù)據(jù)傳輸安全策略分析。數(shù)據(jù)的傳輸安全因素通常包括兩個(gè)方面,數(shù)據(jù)的發(fā)出端A,數(shù)據(jù)的接收端B,數(shù)據(jù)的傳輸通道。在數(shù)據(jù)傳輸?shù)倪^程中通常會(huì)有兩種情況導(dǎo)致傳輸數(shù)據(jù)的丟失。一種是非法用戶對數(shù)據(jù)的發(fā)送端和接收端進(jìn)行更改,獲得需要的數(shù)據(jù);另外一種就是非法用戶在數(shù)據(jù)傳輸?shù)缆飞线M(jìn)行數(shù)據(jù)的截取。

針對網(wǎng)絡(luò)數(shù)據(jù)傳輸中的安全問題,可以采用以下兩個(gè)方面的安全策略,首先使用數(shù)據(jù)加密技術(shù)對數(shù)據(jù)進(jìn)行加密,為數(shù)據(jù)的傳輸提供一個(gè)安全的通道;其次利用公共密鑰和數(shù)據(jù)證書對用戶段和服務(wù)器進(jìn)行身份驗(yàn)證?,F(xiàn)在比較常用的數(shù)據(jù)加密技術(shù)主要有對稱密鑰加密、非對稱密鑰加密以及hash加密三種。網(wǎng)路數(shù)據(jù)的存儲(chǔ)的實(shí)現(xiàn)過程主要是通過服務(wù)器中的數(shù)據(jù)備份來實(shí)現(xiàn)的。為了結(jié)局?jǐn)?shù)據(jù)安全的可靠性問題,可以將風(fēng)險(xiǎn)分散到兩個(gè)服務(wù)器上,從而保證整個(gè)網(wǎng)絡(luò)數(shù)據(jù)系統(tǒng)的安全性。

3 計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)技術(shù)安全防范技術(shù)發(fā)展趨勢

3.1 未來數(shù)據(jù)的存儲(chǔ)介質(zhì)發(fā)展的趨勢。隨著數(shù)據(jù)存儲(chǔ)技術(shù)的不斷發(fā)展,人類已經(jīng)進(jìn)入了大數(shù)據(jù)時(shí)代。谷歌公司每天要處理數(shù)據(jù)的量達(dá)到了20000TB。為了保證這些信息的安全性,分別存儲(chǔ)在4800個(gè)硬板之中。目前很多科學(xué)家開始研究新的存儲(chǔ)介質(zhì)。2007年日本科學(xué)家發(fā)現(xiàn)了細(xì)菌DNA存儲(chǔ)技術(shù),存儲(chǔ)的數(shù)據(jù)時(shí)間可以達(dá)到上千年。這種存儲(chǔ)介質(zhì)的主要優(yōu)點(diǎn)為存儲(chǔ)密度比較大,一個(gè)DN段里含有無數(shù)個(gè)堿基對;其次是DNA存儲(chǔ)數(shù)據(jù)的體積比較小,一個(gè)堿基序列只有原子的大小。研究發(fā)現(xiàn),1克DNA能夠存儲(chǔ)的數(shù)據(jù)達(dá)到700TB,DNA存儲(chǔ)介質(zhì)的體積只有一滴水珠的大小。

3.2 未來計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的安全技術(shù)。在目前的學(xué)術(shù)界數(shù)據(jù)的安全存儲(chǔ)技術(shù)已經(jīng)引起了廣大學(xué)者的注意。具體的研究方向主要分文數(shù)據(jù)的機(jī)密性、完整性以及可用性三個(gè)方面進(jìn)行展開。比如可以通過在客戶端安裝數(shù)據(jù)加密技術(shù)使得客戶有一定的訪問權(quán)限來直接提取客戶端的數(shù)據(jù)。另外虛擬專用網(wǎng)絡(luò)技術(shù)也是目前比較常用的數(shù)據(jù)安全技術(shù)。這種技術(shù)的特點(diǎn)就是把數(shù)據(jù)傳輸?shù)耐ǖ肋M(jìn)行加密,然后將這種數(shù)據(jù)通道從公共網(wǎng)絡(luò)中分離出來,從而使得數(shù)據(jù)信息能夠得到有效的保護(hù)。也就是路由器數(shù)據(jù)過濾技術(shù)和隧道技術(shù),路由器數(shù)據(jù)過濾技術(shù)就是將流出的IP數(shù)據(jù)包使用路由器進(jìn)行動(dòng)態(tài)監(jiān)控。

4 結(jié)束語

本文從實(shí)際應(yīng)用的角度闡述了計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)安全隱患及其防范及技術(shù)。首先結(jié)合相關(guān)參考文獻(xiàn),分析了影響計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)的物理硬件因素與邏輯軟件因素;其次從數(shù)據(jù)物理存儲(chǔ)安全、軟件防范以及數(shù)據(jù)傳輸三個(gè)角度對數(shù)據(jù)存儲(chǔ)安全技術(shù)進(jìn)行了深入的分析,最后探討了未來計(jì)算機(jī)數(shù)據(jù)存儲(chǔ)介質(zhì)和安全防范技術(shù)的發(fā)展方向。因此只有采取多種技術(shù)手段,從系統(tǒng)的角度進(jìn)行分析,才能從根本上維護(hù)計(jì)算機(jī)數(shù)據(jù)安全與網(wǎng)絡(luò)穩(wěn)定。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)技術(shù)分析

摘 要 隨著我國經(jīng)濟(jì)的快速發(fā)展,信息技術(shù)也取得了重大突破。在網(wǎng)絡(luò)時(shí)代里,人們越來越關(guān)注科技的進(jìn)步,以及科技發(fā)展帶來的更加便捷的應(yīng)用。云計(jì)算自提出以來,得到了業(yè)內(nèi)眾多學(xué)者的深入研究,作為未來計(jì)算機(jī)技術(shù)發(fā)展的一個(gè)重要方向,云計(jì)算有著獨(dú)特的優(yōu)勢與潛力。做好云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)關(guān)系到云計(jì)算技術(shù)更好的應(yīng)用。文章首先對云計(jì)算及云存儲(chǔ)進(jìn)行簡要闡述,其次就如何在云計(jì)算環(huán)境下構(gòu)建數(shù)據(jù)存儲(chǔ)體系進(jìn)行探討,最后分析了數(shù)據(jù)安全性。

關(guān)鍵詞 云計(jì)算;數(shù)據(jù)存儲(chǔ);分析;計(jì)算機(jī)

近年來,云計(jì)算越來越多的出現(xiàn)在大家的視野里,人們給予了云計(jì)算極大的關(guān)注。云計(jì)算會(huì)代替?zhèn)鹘y(tǒng)的計(jì)算機(jī)算法,這一理論也被認(rèn)為是未來發(fā)展的必然趨勢。在傳統(tǒng)的模式下,工作人員為了使信息進(jìn)行交互,一般都會(huì)在本地進(jìn)行數(shù)據(jù)的存儲(chǔ)和處理。為了更好的保證數(shù)據(jù)調(diào)取的穩(wěn)定性,企業(yè)需要購買各種硬件、軟件基礎(chǔ)設(shè)施,而且還需要對這些設(shè)施進(jìn)行維護(hù)。但是由于存儲(chǔ)和處理的數(shù)據(jù)量在不斷的加大,所需要的存儲(chǔ)空間就越來越大,這樣就會(huì)大大提高企業(yè)的成本。但是這些并不是企業(yè)需要直接面對的,為了完成他們需要完成的業(yè)務(wù),卻不得不為此投入大量的成本。

隨著計(jì)算機(jī)技術(shù),信息處理技術(shù)不斷的發(fā)展,人們可以不用把大量的數(shù)據(jù)技術(shù)放在自己的計(jì)算機(jī)上,可以放在別人的計(jì)算機(jī)上或者是遠(yuǎn)程的服務(wù)器上,因此企業(yè)就不需要投入大量的資金購買存儲(chǔ)設(shè)備,完全可以通過互聯(lián)網(wǎng)根據(jù)自己的需求找到存儲(chǔ)在遠(yuǎn)程設(shè)備上的數(shù)據(jù),于是云計(jì)算初步模型就出現(xiàn)了。

1 云計(jì)算與云儲(chǔ)存

1)云計(jì)算。在互聯(lián)網(wǎng)的技術(shù)條件下提供了云計(jì)算的一種技術(shù)形式,云計(jì)算可以提供動(dòng)態(tài)變化的能夠伸縮的并且以虛擬為特點(diǎn)的計(jì)算模式?!霸啤本褪且环N比喻,是一個(gè)抽象的概念,實(shí)際上是計(jì)算機(jī)和互聯(lián)網(wǎng)在起作用。

通過云計(jì)算把大量的數(shù)據(jù)都放在計(jì)算機(jī)上,這個(gè)計(jì)算機(jī)不是指本地的計(jì)算機(jī),而是遠(yuǎn)程的服務(wù)器,企業(yè)可以根據(jù)自己的實(shí)際需求,對計(jì)算機(jī)的存儲(chǔ)系統(tǒng)進(jìn)行訪問,企業(yè)可以把大量的信息資源都轉(zhuǎn)換到客觀應(yīng)用上去。也就是說,計(jì)算機(jī)只是成為了一個(gè)簡單的終端,不需要進(jìn)行任何的計(jì)算或者是存儲(chǔ),直接把主機(jī)功能交給云端。

2)云存儲(chǔ)。在云概念的基礎(chǔ)上延伸出了一個(gè)新的概念那就是云存儲(chǔ),云存儲(chǔ)與云概念十分相似,它以分布式文件系統(tǒng)以及網(wǎng)格技術(shù)作為基礎(chǔ),以集群應(yīng)用,借助應(yīng)用軟件把計(jì)算機(jī)中的各種存儲(chǔ)設(shè)備進(jìn)行有效的集中,讓彼此能夠協(xié)同合作。它的功能就是對外提供相關(guān)的數(shù)據(jù)存儲(chǔ)以及業(yè)務(wù)訪問。本質(zhì)上說來,對于當(dāng)前存儲(chǔ)模式的創(chuàng)新就是云存儲(chǔ)。云存儲(chǔ)也是特殊的構(gòu)架服務(wù),具體來說,一些廣域網(wǎng)或者是互聯(lián)網(wǎng)對于應(yīng)用者來說具有透明性。相關(guān)的應(yīng)用程序軟件是云存儲(chǔ)的關(guān)鍵之處,在存儲(chǔ)設(shè)備之間進(jìn)行有機(jī)的結(jié)合,通過這些有效的軟件使設(shè)備與設(shè)備之間進(jìn)行服務(wù)的轉(zhuǎn)變。

2 構(gòu)建在云環(huán)境下的數(shù)據(jù)存儲(chǔ)體系

在實(shí)際操作的過程中,數(shù)據(jù)存儲(chǔ)體系包括數(shù)據(jù)中心和云服務(wù)接口以及服務(wù)協(xié)議等,數(shù)據(jù)中心是在云環(huán)境下實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的基礎(chǔ),由存儲(chǔ)管理、分布式文件體系和存儲(chǔ)備份組成。云存儲(chǔ)設(shè)備既可以是在企業(yè)的發(fā)展過程中所專門應(yīng)用的存儲(chǔ)設(shè)備,也可是PC,這個(gè)系統(tǒng)的設(shè)計(jì)依據(jù)的基礎(chǔ)是客戶機(jī)和服務(wù)器模式。經(jīng)過檢驗(yàn)這些確實(shí)可以完成大量數(shù)據(jù)的存儲(chǔ)工作,并且效果也非常理想。

1)服務(wù)器的結(jié)構(gòu)。云計(jì)算的組成部分中最重要的是存儲(chǔ)服務(wù)器架構(gòu)。在云存儲(chǔ)體系構(gòu)建之前,應(yīng)該首先構(gòu)建云存儲(chǔ)服務(wù)器架構(gòu),這個(gè)可以根據(jù)架構(gòu)技術(shù)來實(shí)現(xiàn),這些架構(gòu)技術(shù)是多樣化的。在NAS這個(gè)文件存儲(chǔ)系統(tǒng)中,每一個(gè)節(jié)點(diǎn)都是一個(gè)相互獨(dú)立的個(gè)體,文件是這個(gè)系統(tǒng)中最小的單位。在集群中,如果文件可以完整的保留,那么其數(shù)據(jù)信息也會(huì)有效的保存在集群的特定的點(diǎn)上,文件雖然比較多,但是會(huì)被重新定義到一些另外的節(jié)點(diǎn)上,這樣信息就顯得太過繁雜了。在實(shí)踐的過程中,人們可以發(fā)現(xiàn),SNA作為存儲(chǔ)系統(tǒng)的一塊兒,如果有某一個(gè)文件發(fā)出請求,每一個(gè)節(jié)點(diǎn)都會(huì)對該文件的不同數(shù)據(jù)塊進(jìn)行訪問,它能夠有效的對用戶的某一種需求進(jìn)行及時(shí)的處理。這種存儲(chǔ)結(jié)構(gòu)比較適合在云服務(wù)器當(dāng)中使用,它可以在一定的范圍內(nèi)進(jìn)行擴(kuò)展,而且傳輸?shù)男室脖容^高。

2)服務(wù)器之間的數(shù)據(jù)傳遞。在當(dāng)前的存儲(chǔ)系統(tǒng)的環(huán)境下,一些存儲(chǔ)系統(tǒng)可以進(jìn)行數(shù)據(jù)之間的傳送協(xié)議,異構(gòu)的平臺(tái)之間的信息可以進(jìn)行有效的資源共享。在計(jì)算機(jī)的網(wǎng)絡(luò)系統(tǒng)當(dāng)中,程序和數(shù)據(jù)庫的優(yōu)化問題是需要我們共同考慮的。在使用數(shù)據(jù)庫的時(shí)候,存儲(chǔ)過程是必不可少的,它提供了一種更加高級(jí)的特性。它可以傳遞一些函數(shù)或者是邏輯表達(dá)方式,這樣就可以幫助程序人員來處理一些比較復(fù)雜的任務(wù)。它的存儲(chǔ)過程也比一些別的程序快很多,如果存儲(chǔ)的過程發(fā)生在本地的服務(wù)器上,那就可以減少在執(zhí)行和操作過程中的寬帶傳輸和執(zhí)行命令的時(shí)間。數(shù)據(jù)庫系統(tǒng)可以分頁顯示數(shù)據(jù),執(zhí)行一個(gè)命令會(huì)產(chǎn)生幾萬種結(jié)果,這些結(jié)果是不可能一次性的直接輸出到客戶端上,可以采用分頁顯示來解決這個(gè)問題。分頁顯示主要有兩種,一種是在數(shù)據(jù)庫的查詢所匹配的記錄一下子存儲(chǔ)在內(nèi)存儲(chǔ)器當(dāng)中。另一個(gè)是根據(jù)用戶的需求,從這些匹配的記錄當(dāng)中顯示指定的記錄。這兩者是有一定的區(qū)別的,前一種是把所有的記錄一次性的寫到內(nèi)存里,再使用分頁顯示,后一種是指通過指定數(shù)量的查詢互相匹配的記錄然后寫入到內(nèi)存當(dāng)中,接著分頁顯示。這個(gè)系統(tǒng)使每一個(gè)要求只需要返回一個(gè)頁面的數(shù)據(jù),效率大大的提高了。

3 關(guān)于企業(yè)的存儲(chǔ)構(gòu)建方案

1)商業(yè)化的云存儲(chǔ)系統(tǒng)。在一些數(shù)據(jù)領(lǐng)域數(shù)據(jù)庫已經(jīng)研發(fā)出一系列的商業(yè)化存儲(chǔ)產(chǎn)品,主要建立在云存儲(chǔ)的相關(guān)理論基礎(chǔ)上。一些最早就致力于云存儲(chǔ)研發(fā)的公司推出數(shù)項(xiàng)擁有自主知識(shí)產(chǎn)權(quán)的存儲(chǔ)技術(shù),而且還提出了云存儲(chǔ)系統(tǒng)的構(gòu)架方案。從用戶的角度出發(fā),在相關(guān)協(xié)議下可以實(shí)現(xiàn)自身數(shù)據(jù)的存儲(chǔ)和提取??梢蕴峁┮恍┖唵蔚年?duì)列服務(wù),在一些虛擬的主機(jī)之間信息可以互相發(fā)送好接收,而且一些支持的服務(wù)可以為用戶提供專業(yè)的存儲(chǔ)接口。一些公司希望他們提出的數(shù)據(jù)庫分布式的編程環(huán)境,可以適用于本公司的具體情況,還可以適用于云存儲(chǔ)的應(yīng)用開發(fā)商提出的關(guān)于存儲(chǔ)的一些應(yīng)用服務(wù),可以起到一箭雙雕的作用。

2)構(gòu)建企業(yè)自身的數(shù)據(jù)中心。對于許多大型企業(yè)來說,數(shù)據(jù)的安全性是最重要的,數(shù)據(jù)中包含著許多客戶的信息,這些客戶的信息一定不能泄露,泄露了以后就會(huì)面臨重大的信譽(yù)問題,這個(gè)時(shí)候如果選擇的是租用的云存儲(chǔ)服務(wù)的話,企業(yè)許多的數(shù)據(jù)資料都需要存儲(chǔ)在云服務(wù)提供的云數(shù)據(jù)中心,會(huì)面臨一定的風(fēng)險(xiǎn)性,所以有一些大型的企業(yè)轉(zhuǎn)向一些私有的云存儲(chǔ)的云服務(wù)提供商提供的云數(shù)據(jù)的中心,借助這個(gè)存儲(chǔ)設(shè)備也需要大量的資金投入,它是借助私云存儲(chǔ)提供的存儲(chǔ)設(shè)備以及冗余備份系統(tǒng),所以這種結(jié)構(gòu)并不靈活。作為企業(yè)可以選擇混合云存儲(chǔ)方案,可以把與之相關(guān)的關(guān)鍵性的數(shù)據(jù)作為首要的存儲(chǔ),存到私云存儲(chǔ)當(dāng)中,對于其它的一些數(shù)據(jù)就可以存儲(chǔ)在租用的云存儲(chǔ)當(dāng)中,借用這種存儲(chǔ)的方法可以實(shí)現(xiàn)存儲(chǔ)效用利用的最大化。

4 云計(jì)算的環(huán)境下關(guān)于數(shù)據(jù)安全問題

為了保證數(shù)據(jù)的安全性能我們可以采用加密的方式,對于加密的方法有兩種:對稱加密和非對稱加密。實(shí)踐證明,對稱加密的算法還比較成熟,所以應(yīng)用的范圍比較廣泛,這種加密的算法、加密和解密都比較容易實(shí)現(xiàn),所以廣泛的應(yīng)用于大量的數(shù)據(jù)傳輸,對于非對稱加密來說,可以把傳統(tǒng)的密鑰分為公開密鑰和私有密鑰,把加密算法和解密算法分開控制,這樣可以在計(jì)算方法的復(fù)雜程度上確保其的安全性。

1)關(guān)于加密。當(dāng)想要對某一個(gè)數(shù)據(jù)進(jìn)行加密的時(shí)候可以通過對稱加密算法密匙生成器,通過密匙生成器來隨機(jī)生成含有校驗(yàn)信息的密匙,再通過非對稱加密算法對所包含的效驗(yàn)信息的密匙進(jìn)行加密。這樣就可以把密文統(tǒng)一打包以后發(fā)到用戶端供用戶們使用,這個(gè)密文是經(jīng)過加密算法處理的。除這些以外,對于一些數(shù)據(jù)量十分大的用戶的數(shù)據(jù)可以通過對稱的加密算法對其進(jìn)行加密。但是對于一些數(shù)據(jù)量用戶較小的用戶可以考慮對一些非對稱算法進(jìn)行加密,將這兩種密匙和密文數(shù)據(jù)一塊兒存儲(chǔ)起來放到云存儲(chǔ)中心,對于那些非加密的密匙以及解密的密匙僅僅需要進(jìn)行保存就行。

2)關(guān)于解密。既然可以加密處理,那么就應(yīng)該對密匙進(jìn)行解密,這樣密碼的設(shè)立才會(huì)更有意義。在對數(shù)據(jù)解密的過程中,用戶首先需要對對稱加密的算法進(jìn)行解密,這種算法是跟非對稱加密相關(guān)的。這樣就可以對密匙進(jìn)行還原,然后,被還原的密匙根據(jù)對稱算法對所提供的數(shù)據(jù)包進(jìn)行解密,這樣可以把所需要的文件進(jìn)行還原。兩種算法需要配合使用,這樣才能最大限度的發(fā)揮各自的優(yōu)點(diǎn),避免某一種算法的不足導(dǎo)致文件不能安全的進(jìn)行保密。我們的目的是對數(shù)據(jù)的安全進(jìn)行保密,可以通過對稱密匙對所有的數(shù)據(jù)進(jìn)行加密也可以利用非對稱密匙僅僅對一部分密匙進(jìn)行加密。這兩種算法互相結(jié)合,有效地解決了云計(jì)算中所面臨的安全問題。

5 結(jié)束語

在云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)技術(shù)給人們帶了許多的方便,釋放了個(gè)人計(jì)算機(jī)終端的數(shù)據(jù)存儲(chǔ)任務(wù),優(yōu)化了網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)。云計(jì)算環(huán)境下數(shù)據(jù)存儲(chǔ)中把對稱密匙和非對稱密匙結(jié)合起來使用,為云環(huán)境下的存儲(chǔ)技術(shù)帶來了一定的安全性。這是一種解決安全問題比較可行的方法。隨著科技的不斷進(jìn)步,云計(jì)算環(huán)境下的存儲(chǔ)技術(shù)一定會(huì)有更大的突破,實(shí)踐應(yīng)用也一定會(huì)更加廣泛。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:分布式環(huán)境中數(shù)據(jù)存儲(chǔ)技術(shù)的研究

摘要:隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展,將大量數(shù)據(jù)進(jìn)行分散存儲(chǔ)和管理的方式已經(jīng)得到相關(guān)行業(yè)的廣泛認(rèn)可,然而由此帶來的弊端也隨之產(chǎn)生,數(shù)據(jù)存儲(chǔ)結(jié)構(gòu),存儲(chǔ)環(huán)境的不同,以及數(shù)據(jù)并發(fā)處理等問題。該文針對如何在分布式環(huán)境中提高數(shù)據(jù)存儲(chǔ)能力這一課題進(jìn)行深入研究,對當(dāng)前數(shù)據(jù)存儲(chǔ)技術(shù)進(jìn)行分析,對分布環(huán)境下數(shù)據(jù)存儲(chǔ)的特性進(jìn)行分析,總結(jié)出分布式數(shù)據(jù)庫的設(shè)計(jì)要求,為行業(yè)內(nèi)分布式數(shù)據(jù)存儲(chǔ)能力標(biāo)準(zhǔn)化提供理論支持。

關(guān)鍵詞:分布式;數(shù)據(jù)存儲(chǔ);數(shù)據(jù)庫

1 數(shù)據(jù)存儲(chǔ)技術(shù)的現(xiàn)狀

近年來,隨著計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)的迅猛發(fā)展,依靠先進(jìn)的技術(shù)進(jìn)行網(wǎng)絡(luò)化辦公已經(jīng)成為現(xiàn)實(shí)。越來越多的企業(yè)、政府機(jī)構(gòu)、社會(huì)團(tuán)體借助計(jì)算機(jī)技術(shù)將業(yè)務(wù)主體進(jìn)行科學(xué)的專項(xiàng)設(shè)計(jì)和應(yīng)用,用戶只需要少量的終端設(shè)備就可以對大量的數(shù)據(jù)進(jìn)行處理和分析。另一方面,隨著人們對互聯(lián)網(wǎng)依賴程度的逐步加深,伴隨“大數(shù)據(jù)”等新概念的提出和發(fā)展,產(chǎn)生的數(shù)據(jù)量也呈現(xiàn)爆炸式增長。新數(shù)據(jù)的產(chǎn)生和原始數(shù)據(jù)的不斷積累,導(dǎo)致占用的存儲(chǔ)容量越來越大。因此,如何擴(kuò)展服務(wù)提供商器的存儲(chǔ)能力已經(jīng)成為當(dāng)前科研領(lǐng)域的重要研究熱點(diǎn)。

目前,能夠有效提高數(shù)據(jù)存儲(chǔ)能力的方式主要有兩類解決方案。一類是新增硬件的方法提高存儲(chǔ)能力。由服務(wù)提供商采購新的存儲(chǔ)設(shè)備來拓展服務(wù)器的存儲(chǔ)能力。另一類是在不改變現(xiàn)有硬件設(shè)備的條件下,服務(wù)提供商改善數(shù)據(jù)存儲(chǔ)軟件,優(yōu)化存儲(chǔ)信息的方式,通過分類和分解數(shù)據(jù)的形式提高存儲(chǔ)能力。第一類解決方案存在明顯的弊端,服務(wù)提供商的購買能力是有限的,無法從根本上解決難題。另一類目前已經(jīng)得到國內(nèi)外行業(yè)的普遍認(rèn)可,各大數(shù)據(jù)服務(wù)提供商投入大量人力和物力,加快了數(shù)據(jù)管理軟件的研發(fā)腳步,一系列的數(shù)據(jù)庫產(chǎn)品營運(yùn)而生,像Google Spanner,Cassandra,MongoDB,MySQL Cluster等[1]優(yōu)秀的產(chǎn)品為分布式環(huán)境下有效的管理數(shù)據(jù),優(yōu)化存儲(chǔ)提供了先決條件。

2 分布式環(huán)境下數(shù)據(jù)存儲(chǔ)的應(yīng)用特性分析

通過大量實(shí)踐可以看出,對于大量數(shù)據(jù)的處理效率往往與數(shù)據(jù)本身的可操作性有著緊密聯(lián)系,所以有必要對分布式環(huán)境下的數(shù)據(jù)應(yīng)用特性進(jìn)行合理的分析和總結(jié)。分布式數(shù)據(jù)庫主要有以下三個(gè)特點(diǎn):

2.1 數(shù)據(jù)庫存儲(chǔ)的數(shù)據(jù)在邏輯上是集中的,在地理位置上是分散的

分散的數(shù)據(jù)單元所在的物理位置是透明的,通過通訊線路和協(xié)議進(jìn)行相互溝通。這點(diǎn)有力的說明分布式數(shù)據(jù)庫存在數(shù)據(jù)的“分散性”。

2.2 用戶對數(shù)據(jù)進(jìn)行的任何操作都有一個(gè)統(tǒng)一的DBMS進(jìn)行調(diào)度

用戶不必關(guān)心數(shù)據(jù)的并發(fā)處理、副本調(diào)度等問題,即使局部數(shù)據(jù)單元發(fā)生數(shù)據(jù)故障,統(tǒng)一的DBMS仍可以進(jìn)行調(diào)度和工作。這點(diǎn)有力的說明分布式數(shù)據(jù)庫存在管理上的“集中性”。

2.3 用戶對任何數(shù)據(jù)進(jìn)行例如添加、刪除和查詢操作時(shí),每個(gè)數(shù)據(jù)單元都各有一個(gè)小型的數(shù)據(jù)管理系統(tǒng),都有各自的DBMS,多數(shù)處理就地完成

這點(diǎn)有力的說明分布式數(shù)據(jù)庫存在操作上的“自治性”。

3 分布式數(shù)據(jù)庫系統(tǒng)的設(shè)計(jì)

在分布式環(huán)境下,對于數(shù)據(jù)庫的設(shè)計(jì)要求還沒有統(tǒng)一的標(biāo)準(zhǔn)。該文通過總結(jié)和分析整理國內(nèi)外相關(guān)資料,認(rèn)為一個(gè)可操作的分布式數(shù)據(jù)庫系統(tǒng),應(yīng)具備四個(gè)功能,如圖1所示。

3.1 數(shù)據(jù)分發(fā)[2]

數(shù)據(jù)分發(fā)的建立打破了傳統(tǒng)數(shù)據(jù)存儲(chǔ)模式,它使物理上分散的數(shù)據(jù)單元成為邏輯上統(tǒng)一的整體,數(shù)據(jù)模塊之間通過數(shù)據(jù)鏈路進(jìn)行連接,通過形式統(tǒng)一的數(shù)據(jù)接口和協(xié)議進(jìn)行通訊。合理的數(shù)據(jù)分發(fā)模塊能夠解決數(shù)據(jù)在遠(yuǎn)距離存儲(chǔ)上存在的異構(gòu)問題。

3.2 并行處理

由于數(shù)據(jù)存儲(chǔ)過程中的分散性和自治性的特點(diǎn),使得并發(fā)處理功能就顯得尤為重要。并行處理問題發(fā)生的情況分為三種:時(shí)間并行,空間并行以及時(shí)間和空間同時(shí)并行。并行處理功能要求數(shù)據(jù)庫要有很好的事務(wù)機(jī)制處理辦法,提供有效的并發(fā)解決方案。

3.3 SQL解析

由于大量數(shù)據(jù)庫管理系統(tǒng)和操作系統(tǒng)存在異構(gòu)的特點(diǎn),SQL解析功能就顯得尤為重要。SQL的語句首先被數(shù)據(jù)庫管理軟件轉(zhuǎn)化為ASCII碼,然后由解析器分三個(gè)環(huán)節(jié)進(jìn)行解析。首先是語法解析,通常會(huì)從數(shù)據(jù)字典、對象比較、游標(biāo)等方面檢查用戶輸入的語法是否存在錯(cuò)誤;其次是語義解析,為用戶輸入的語句建立語法樹,對語義中提到的程序、表、字段等方面進(jìn)行檢查;最后是執(zhí)行語法過程,將操作結(jié)果進(jìn)行打包后傳遞給DBMS。[3]

3.4 匯總處理

匯總處理的目標(biāo)是從分散的數(shù)據(jù)模塊中提取用戶需要的數(shù)據(jù),并進(jìn)行必要的處理后呈現(xiàn)在用戶面前,形成一個(gè)完整的、統(tǒng)一的大型數(shù)據(jù)庫。

4 總結(jié)

分布式數(shù)據(jù)存儲(chǔ)能夠不改變現(xiàn)有硬件設(shè)備的條件下,充分利用現(xiàn)有資源為用戶服務(wù),為用戶提供快速靈活的體驗(yàn),同時(shí)可以減少投入,提高設(shè)備利用率。隨著數(shù)據(jù)存儲(chǔ)技術(shù)的不斷發(fā)展和成熟,能夠在不同領(lǐng)域中得到更廣闊的發(fā)展。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于云計(jì)算背景下數(shù)據(jù)存儲(chǔ)技術(shù)

摘要:改革開放以來,我國的社會(huì)經(jīng)濟(jì)得到了迅猛的發(fā)展。社會(huì)經(jīng)濟(jì)的進(jìn)步,同時(shí)也推動(dòng)了我國科學(xué)技術(shù)的發(fā)展??茖W(xué)技術(shù)的發(fā)展,對于我國的社會(huì)經(jīng)濟(jì)也有相應(yīng)促進(jìn)作用。在所有的科學(xué)技術(shù)的發(fā)展中,要數(shù)計(jì)算機(jī)的發(fā)展最為迅速。21世紀(jì)是一個(gè)信息的時(shí)代,其中的典型就是計(jì)算機(jī),隨著社會(huì)的發(fā)展,各式各樣的計(jì)算形式層出不窮,在這樣一個(gè)更新周期短的時(shí)代趨勢的影響下,在計(jì)算機(jī)領(lǐng)域出現(xiàn)了一種新型的計(jì)算形式,這種新型的計(jì)算機(jī)形式稱為云計(jì)算。對于互聯(lián)網(wǎng)模式,我們都不陌生,而對于云計(jì)算是十分陌生的。其實(shí),所謂的云計(jì)算,指的就是互聯(lián)網(wǎng)技術(shù)的升級(jí),云計(jì)算這種新型計(jì)算模式的出現(xiàn),對于現(xiàn)代大量的數(shù)據(jù)沖擊來說是一個(gè)機(jī)遇,云計(jì)算中的數(shù)據(jù)存儲(chǔ)技術(shù)也成為了計(jì)算機(jī)技術(shù)的重要的技術(shù)領(lǐng)域。

關(guān)鍵詞:云計(jì)算 數(shù)據(jù)存儲(chǔ) 技術(shù) 研究

云計(jì)算是一種現(xiàn)代的架構(gòu)體系,這種體系主要是以服務(wù)作為其主體運(yùn)運(yùn)而生的。為了可以很好地區(qū)分云計(jì)算的服務(wù)方式,在計(jì)算機(jī)領(lǐng)域把云計(jì)算分為了兩種最為基本的服務(wù)形式,這兩種服務(wù)形式為云計(jì)算,以及云存儲(chǔ)。云計(jì)算作為一種新型的技術(shù)手段被廣泛的運(yùn)用到現(xiàn)代的網(wǎng)絡(luò)系統(tǒng),以及現(xiàn)代的金融服務(wù)領(lǐng)域;作為計(jì)算機(jī)技術(shù)快速發(fā)展的一種形式的云計(jì)算,是一種以服務(wù)為主體的現(xiàn)代運(yùn)用系統(tǒng)。為了能夠在各種各樣的環(huán)境下對計(jì)算機(jī)的數(shù)據(jù)進(jìn)行相應(yīng)的處理,就需要加入另一種服務(wù)形式,這種服務(wù)方式就是云存儲(chǔ)。為了能夠適應(yīng)社會(huì)的發(fā)展需求,有必要對云計(jì)算進(jìn)行更加深入的研究。

1 云計(jì)算,以及云存儲(chǔ)

1.1 云計(jì)算

云計(jì)算是一種新型的技術(shù)形式,它通過向?qū)ο筇峁┨峁┘夹g(shù)服務(wù)來實(shí)現(xiàn)的。云計(jì)算提供的計(jì)算模式可以分為兩種,一種是動(dòng)態(tài)化的可伸縮的計(jì)算模式,另一種是動(dòng)態(tài)化的虛擬資源計(jì)算模式。雖然說云計(jì)算是一種新型的技術(shù)形式,但是從它的本質(zhì)來說,云計(jì)算指的就是互聯(lián)網(wǎng),以計(jì)算機(jī)網(wǎng)絡(luò),所以說云計(jì)算中的云是一種比喻性的說法。在以往的電信行業(yè)中,也存在云的概念,當(dāng)時(shí)的云指的就是電信網(wǎng)。但是隨著近幾年計(jì)算機(jī)網(wǎng)絡(luò)的不斷發(fā)展,為了滿足互聯(lián)網(wǎng),以及基礎(chǔ)設(shè)施抽象表達(dá)的要求,才逐漸把云的概念擴(kuò)大到互聯(lián)網(wǎng)等方面。在計(jì)算機(jī)中使用云計(jì)算,可以很好地滿足現(xiàn)實(shí)的需求。傳統(tǒng)的數(shù)據(jù)信息基本上是以本地的計(jì)算機(jī),或者遠(yuǎn)程服務(wù)器為載體進(jìn)行存儲(chǔ)。而云計(jì)算的使用,則是將大量的數(shù)據(jù)存儲(chǔ)到計(jì)算機(jī)之上。大部分的企業(yè)可以很方便的把資源信息轉(zhuǎn)換到比較客觀的應(yīng)用上,這主要是由于這些企業(yè)的數(shù)據(jù)系統(tǒng)與計(jì)算機(jī)互聯(lián)網(wǎng)比較相似,所以,可以很容易的對存儲(chǔ)體系,以及計(jì)算機(jī)進(jìn)行相應(yīng)的訪問。

1.2 云存儲(chǔ)

隨著云計(jì)算的推廣,為了適應(yīng)這一發(fā)展趨勢,就從云計(jì)算中總結(jié)出了一個(gè)全新的概念,這個(gè)全新的概念就是云存儲(chǔ)。云計(jì)算具有一定的基礎(chǔ)功能,而由于云存儲(chǔ)是從云計(jì)算當(dāng)中延伸出來的,所以,云存儲(chǔ)具有與云計(jì)算相類似的功能,即計(jì)算機(jī)的網(wǎng)格技術(shù),以及計(jì)算機(jī)的集群應(yīng)用,還有就是計(jì)算機(jī)的分布式文件系統(tǒng)。以上的這些基本功能對于云存儲(chǔ)發(fā)揮其功效具有重要的作用。通過相應(yīng)的應(yīng)用軟件,可以把計(jì)算機(jī)網(wǎng)絡(luò)當(dāng)中的各式各樣的存儲(chǔ)設(shè)備有效的集中起來,以保證這些存儲(chǔ)設(shè)備可以進(jìn)行有效的協(xié)同合作。云存儲(chǔ)的這種新型的存儲(chǔ)模式,是在原有的原有的存儲(chǔ)模式的基礎(chǔ)之上,進(jìn)行相應(yīng)改進(jìn)的一種存儲(chǔ)模式,但是這種新型的存儲(chǔ)模式還可以提供一種特別的架構(gòu)服務(wù)。由于云具有廣域網(wǎng),以及互聯(lián)網(wǎng)的特性,所以具有相對比較的形象特征,而對待遇使用云存儲(chǔ)的人來說,云存儲(chǔ)具有一定的透明性。把一些有關(guān)聯(lián)的存儲(chǔ)設(shè)備,以及應(yīng)用程序軟件進(jìn)行有效的而結(jié)合起來,因?yàn)榇鎯?chǔ)設(shè)備的服務(wù)轉(zhuǎn)換抓喲是要通過相關(guān)的應(yīng)用軟件來進(jìn)行實(shí)現(xiàn)的。

2 云計(jì)算的環(huán)境下數(shù)據(jù)存儲(chǔ)體系的構(gòu)建

在實(shí)際的云計(jì)算的操作過程當(dāng)中,對于云計(jì)算環(huán)境下數(shù)據(jù)存儲(chǔ)體系的建立是十分的必要的。建立云計(jì)算環(huán)境下數(shù)據(jù)存儲(chǔ)體系,通常會(huì)涉及到很多方面的內(nèi)容,比如說,云計(jì)算的數(shù)據(jù)中心,以及云服務(wù)的接口,還有就是云的用戶和與計(jì)算的服務(wù)協(xié)議等等各方面的內(nèi)容。首先,我們先來了解一下什么是數(shù)據(jù)中心。所謂的數(shù)據(jù)中心,實(shí)質(zhì)上指的就是數(shù)據(jù)的存儲(chǔ)基礎(chǔ),數(shù)據(jù)中心是要通過云計(jì)算的環(huán)境下來進(jìn)行實(shí)現(xiàn)的。數(shù)據(jù)中心所涉及的內(nèi)容,包括了數(shù)據(jù)的存儲(chǔ)管理,以及數(shù)據(jù)的存儲(chǔ)設(shè)備,還有就是計(jì)算機(jī)中分布式的文件系統(tǒng)等等。云存儲(chǔ)可以有很多不同的類型,一種是根據(jù)企業(yè)發(fā)展的不同程度會(huì)采用的專門的存儲(chǔ)設(shè)備,另一種是運(yùn)用于個(gè)人的存儲(chǔ)設(shè)備,還有一種就是把專門的存儲(chǔ)設(shè)備與個(gè)人的存儲(chǔ)設(shè)備進(jìn)行有機(jī)的結(jié)合起來。雖然有以上的三種分類,但是對于云存儲(chǔ)設(shè)備來說,并沒有硬性的規(guī)定說要根據(jù)那個(gè)條件進(jìn)行分類。根據(jù)客戶機(jī),或者服務(wù)器的模式可以對分布式的文件系統(tǒng)進(jìn)行相應(yīng)的設(shè)計(jì)。運(yùn)用網(wǎng)絡(luò)節(jié)點(diǎn)之間的聯(lián)接可以很好地吧文件系統(tǒng)管理當(dāng)中的一些物理存儲(chǔ)紫玉進(jìn)行有效的存儲(chǔ)。

3 云計(jì)算服務(wù)器架構(gòu)的構(gòu)建

云計(jì)算存儲(chǔ)服務(wù)器在云計(jì)算中占據(jù)著關(guān)鍵性的作用,所以對與計(jì)算服務(wù)器的架構(gòu)的構(gòu)建顯得至關(guān)重要。對于云存儲(chǔ)服務(wù)器架構(gòu)的建立,一定要保證是在進(jìn)行建立云儲(chǔ)存體系之前進(jìn)行建立。比較常見的云存儲(chǔ)服務(wù)器架構(gòu)有兩種,一種是存儲(chǔ)區(qū)域網(wǎng),另一種就是附網(wǎng)存儲(chǔ)。對于云存儲(chǔ)服務(wù)器架構(gòu)的建立,可以通過多變的架構(gòu)技術(shù)來實(shí)現(xiàn)云存儲(chǔ)服務(wù)器架構(gòu)的建立的。

附網(wǎng)存儲(chǔ)是一種文件存儲(chǔ)系統(tǒng),附網(wǎng)存儲(chǔ)是依附于分布式架構(gòu)系統(tǒng)而存在的。在附網(wǎng)存儲(chǔ)當(dāng)中,是相互獨(dú)立,而且又相互統(tǒng)一的。所以說,附網(wǎng)存儲(chǔ)是一種松散結(jié)合型集群,說附網(wǎng)存儲(chǔ)是獨(dú)立的,主要是因?yàn)樵诟骄W(wǎng)存儲(chǔ)中的每一個(gè)節(jié)點(diǎn)都是相互獨(dú)立的;而說附網(wǎng)存儲(chǔ)是相對統(tǒng)一的,主要是因?yàn)楦骄W(wǎng)存儲(chǔ)是以系統(tǒng)集群的形式存在著的。附網(wǎng)存儲(chǔ)是一種結(jié)合比較緊密的集群系統(tǒng)。一旦有一個(gè)文件產(chǎn)生請求,附網(wǎng)存儲(chǔ)中的熱河一個(gè)節(jié)點(diǎn)都會(huì)對這個(gè)文件中的不同數(shù)據(jù)進(jìn)行同時(shí)的訪問,與此同時(shí),云計(jì)算還會(huì)對于用戶的相關(guān)要求進(jìn)行相應(yīng)的處理。一般的存儲(chǔ)系統(tǒng)不同的是,附網(wǎng)存儲(chǔ)系統(tǒng)的性能不會(huì)由于請求越多而越弱,相反的是,附網(wǎng)存儲(chǔ)是隨著用戶的訪問請求越多,就會(huì)具有越強(qiáng)的性能,因?yàn)橛脩舻恼埱笤蕉啵瑫?huì)使得節(jié)點(diǎn)數(shù)越來越多,所以附網(wǎng)存儲(chǔ)系統(tǒng)的性能越強(qiáng)。

4 結(jié)語

總的來說,作為現(xiàn)代計(jì)算模式的代表的云計(jì)算,在實(shí)踐當(dāng)中具有很大的數(shù)據(jù)集群,因此云計(jì)算具有最優(yōu)化的服務(wù)功能。云計(jì)算中的數(shù)據(jù)存儲(chǔ),可以通過冗余存儲(chǔ)方式來進(jìn)行數(shù)據(jù)的存儲(chǔ),進(jìn)而可以確保數(shù)據(jù)的安全性,以及可靠性。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于網(wǎng)格的數(shù)據(jù)存儲(chǔ)技術(shù)在數(shù)字圖書館中的應(yīng)用

摘要:現(xiàn)代數(shù)字圖書館存儲(chǔ)系統(tǒng)有高可靠性、高可用性、高性能、動(dòng)態(tài)可擴(kuò)展性、易維護(hù)性和開放性等眾多方面的需求,而目前使用的存儲(chǔ)系統(tǒng)還遠(yuǎn)不能滿足這些需求。本文著重介紹網(wǎng)格的數(shù)據(jù)存儲(chǔ)技術(shù)在數(shù)字圖書館中的應(yīng)用。

關(guān)鍵詞:網(wǎng)格 數(shù)據(jù)存儲(chǔ) Grid FTP 數(shù)字圖書館

1 綜述

隨著網(wǎng)絡(luò)技術(shù)和分布式計(jì)算技術(shù)的發(fā)展,網(wǎng)格應(yīng)運(yùn)而生,有望成為第三代互聯(lián)網(wǎng)。宏觀上講,網(wǎng)格是信息社會(huì)的網(wǎng)絡(luò)基礎(chǔ)設(shè)施,它把整個(gè)因特網(wǎng)整合成一臺(tái)巨大的超級(jí)虛擬計(jì)算機(jī),實(shí)現(xiàn)互聯(lián)網(wǎng)上所有資源的互聯(lián)互通,實(shí)現(xiàn)計(jì)算資源、存儲(chǔ)資源、通信資源、軟件資源、信息資源、知識(shí)資源等資源的全面共享。

網(wǎng)格是由分布在本地或廣城范圍的若干異構(gòu)子系統(tǒng)組成的虛擬系統(tǒng)。網(wǎng)格通??梢苑譃槿?,即存儲(chǔ)網(wǎng)格,計(jì)算網(wǎng)格和服務(wù)網(wǎng)格。存儲(chǔ)網(wǎng)格實(shí)現(xiàn)了虛擬的統(tǒng)一存儲(chǔ),例如可將不同系統(tǒng)不同目錄下的文件通過網(wǎng)格軟件組合成一個(gè)虛擬的單一文件目錄,對此網(wǎng)格的用戶來說,他不必關(guān)心他所需要的文件具體存放在那一物理位置,而可以通過一個(gè)單一的文件目錄結(jié)構(gòu)存取或檢索所需要的文件。他還可以適用于傳統(tǒng)購工具相類似的網(wǎng)格變種,如FTP.來將自己的文件傳送到這一虛擬的單一文件目錄結(jié)構(gòu)中去,或?qū)⑻摂M存儲(chǔ)中的某一文件傳送到自己的本地非共享目錄中??梢姶鎯?chǔ)網(wǎng)格改變了人們分享數(shù)據(jù)信息的方式。

利用存儲(chǔ)網(wǎng)格技術(shù),一個(gè)大型復(fù)雜數(shù)字圖書館系統(tǒng)可以將各自的計(jì)算機(jī)組成一個(gè)慮擬的單一存儲(chǔ)網(wǎng)格,所有的子系統(tǒng)界面信息均可實(shí)時(shí)地被他人所共享,不管這些單位位于世界的哪一個(gè)角落,也不管他們用的是什么系統(tǒng)。傳統(tǒng)上完成類似目標(biāo)需要建立并維護(hù)一個(gè)集中的數(shù)據(jù)服務(wù)系統(tǒng),在很多時(shí)候是無法實(shí)現(xiàn)或者極不經(jīng)濟(jì)的。而存儲(chǔ)網(wǎng)格技術(shù)通過建立開放標(biāo)準(zhǔn)將這一需求變?yōu)楝F(xiàn)實(shí)。

網(wǎng)格存儲(chǔ)是網(wǎng)格技術(shù)發(fā)展的重要組成部分,它將存儲(chǔ)和存儲(chǔ)引擎整合成內(nèi)部相連的網(wǎng)格。它通過網(wǎng)格以一種靈活的、透明的方式分配資源,依照單位的存儲(chǔ)策略和程序,高效地管理存儲(chǔ)資源,以保護(hù)大容量信息的安全。網(wǎng)格存儲(chǔ)能很好地解決各類資源的自動(dòng)優(yōu)化、自動(dòng)配置、自我保護(hù)和自動(dòng)恢復(fù)等功能。

2 基于網(wǎng)格的數(shù)據(jù)存儲(chǔ)技術(shù)在數(shù)字圖書館中的應(yīng)用

2.1 數(shù)據(jù)網(wǎng)格存儲(chǔ)方式

數(shù)字圖書館是綜合運(yùn)用多方面高新技術(shù)支持的數(shù)字信息資源系統(tǒng),將分散于不同載體、不同地域的數(shù)字化信息資源以網(wǎng)絡(luò)化方式互相聯(lián)結(jié)起來,實(shí)現(xiàn)資源共享。數(shù)字圖書館是計(jì)算機(jī)可處理的、有序組織的信息集合,是存儲(chǔ)數(shù)字信息的倉儲(chǔ)。數(shù)字圖書館通過數(shù)字技術(shù)進(jìn)行信息資源的組織和管理,能夠儲(chǔ)存海量信息,用戶可以通過互聯(lián)網(wǎng)絡(luò)高效方便地進(jìn)行查詢、檢索服務(wù)。數(shù)字圖書館具有信息資源數(shù)字化、信息組織非線性化、結(jié)構(gòu)復(fù)雜化、信息傳遞網(wǎng)絡(luò)化、服務(wù)方式多樣化等特點(diǎn)。而網(wǎng)格是高性能計(jì)算機(jī)、數(shù)據(jù)源、因特網(wǎng)三種技術(shù)的有機(jī)組合,它具有高性能、一體化、知識(shí)生產(chǎn)、資源共享、異地協(xié)同工作、支持開放標(biāo)準(zhǔn)、功能動(dòng)態(tài)變化等優(yōu)點(diǎn),為數(shù)字圖書館建設(shè)提供了有利的條件。

在網(wǎng)格中最常用的資源是數(shù)據(jù)存儲(chǔ)。網(wǎng)格對數(shù)據(jù)存儲(chǔ)提供了一個(gè)集成的視圖,有時(shí)被稱為“數(shù)據(jù)網(wǎng)格”。通常,網(wǎng)格中的每臺(tái)機(jī)器會(huì)提供一定數(shù)量的存儲(chǔ)給網(wǎng)格使用,即使是暫時(shí)的。存儲(chǔ)可以是配屬于處理器的內(nèi)存,也可以是硬盤或者其他永久性的存儲(chǔ)介質(zhì)。配屬于處理器的內(nèi)存通常速度非常快,但是不穩(wěn)定,最好應(yīng)用作緩沖數(shù)據(jù)。網(wǎng)格中的第二存儲(chǔ)可以以合適的方法使用來增加容量、性能、共享和數(shù)據(jù)可靠性。許多網(wǎng)格系統(tǒng)使用網(wǎng)絡(luò)文件系統(tǒng),如AFS、NFS、DFS或者GPFS。這些文件系統(tǒng)在性能,安全和可靠性方面存在差異。

多臺(tái)機(jī)器的存儲(chǔ)使用統(tǒng)一的文件系統(tǒng),容量可以增加。任一獨(dú)立的文件或者數(shù)據(jù)庫可以擴(kuò)展到多臺(tái)存儲(chǔ)設(shè)備和機(jī)器,利用操作系統(tǒng)的文件系統(tǒng)可以消除最大空間的限制。統(tǒng)一的文件系統(tǒng)可以為網(wǎng)格存儲(chǔ)提供統(tǒng)一的命名空間。這對用戶使用網(wǎng)格中的存儲(chǔ)變得相對容易,可以不用考慮其確切的位置。類似的,特殊的數(shù)據(jù)庫軟件可以聯(lián)合獨(dú)立的分類數(shù)據(jù)和文件,形成一個(gè)更大的,更全面的數(shù)據(jù)庫,可以使用數(shù)據(jù)庫查詢功能操作。

網(wǎng)格文件系統(tǒng)也能實(shí)現(xiàn)日志功能,因而在某些操作失敗后,數(shù)據(jù)也可以被可靠地刪除。另外,當(dāng)數(shù)據(jù)共享或者很多用戶更新時(shí),有些文件系統(tǒng)實(shí)行高級(jí)的同步機(jī)制來減少?zèng)_突。

2.2 GridFTP在數(shù)字圖書館數(shù)據(jù)存儲(chǔ)技術(shù)中的應(yīng)用

網(wǎng)格存儲(chǔ)是以節(jié)點(diǎn)之間的備份為基礎(chǔ),可以在多重節(jié)點(diǎn)上進(jìn)行內(nèi)容管理與儲(chǔ)存;也可以把存儲(chǔ)環(huán)境下的多重節(jié)點(diǎn)進(jìn)行資料轉(zhuǎn)移與傳輸。正因?yàn)檫@樣,它可以將網(wǎng)絡(luò)連接存儲(chǔ)(NAS)和存儲(chǔ)局域網(wǎng)(SAN)兩種不同的技術(shù)、不同的管理工具、不同的存儲(chǔ)應(yīng)用融合在一起。網(wǎng)格存儲(chǔ)使存儲(chǔ)簡單化,兼容不同的網(wǎng)絡(luò)協(xié)議,支持不同的系統(tǒng)平臺(tái),在各個(gè)分布系統(tǒng)上遠(yuǎn)行而且同步。

訪問、分析和處理分布在不同邏輯位置、存儲(chǔ)系統(tǒng)上的數(shù)據(jù),應(yīng)用程序要么選擇只支持某些存儲(chǔ)系統(tǒng),要么使用多種方法來獲取不同存儲(chǔ)系統(tǒng)上的數(shù)據(jù)。Grid FTP提供了一種在異構(gòu)系統(tǒng)上的公共互用層,避免性能上的損失和過大的復(fù)雜性。

Grid FTP作為網(wǎng)格環(huán)境中安全高效的數(shù)據(jù)傳輸協(xié)議,是對標(biāo)準(zhǔn)FTP協(xié)議的擴(kuò)展。Grid FTP擴(kuò)展了標(biāo)準(zhǔn)FTP協(xié)議,這是因?yàn)镕TP協(xié)議是目前因特網(wǎng)上使用最普遍的數(shù)據(jù)傳輸協(xié)議,有大量的技術(shù)基礎(chǔ),也是在網(wǎng)絡(luò)環(huán)境中最規(guī)范的數(shù)據(jù)傳輸協(xié)議,并且易于擴(kuò)展。

GridF TP在不同的網(wǎng)格主機(jī)之間提供了安全的、可依賴的數(shù)據(jù)傳輸,使用擴(kuò)展的FTP協(xié)議,提供了網(wǎng)格的功能。Grid FTP是標(biāo)準(zhǔn)的服務(wù)器/客戶端應(yīng)用,支持兩種類型的文件傳輸標(biāo)準(zhǔn)和第三方參與的文件傳輸。

為了管理分布式通信中的大數(shù)據(jù)集,Grid FTP提供了經(jīng)過鑒別的由第三方控制的數(shù)據(jù)傳輸功能。這種功能允許第三方用戶或應(yīng)用程序啟動(dòng)、監(jiān)視和控制共他兩地之間的數(shù)據(jù)傳輸,為使用多個(gè)地點(diǎn)的資源提供了保障。Grid FTP在保留FTP的第二方數(shù)據(jù)傳輸功能上增加了GSS-API安全認(rèn)證。

當(dāng)前,由于網(wǎng)格技術(shù)的發(fā)展,數(shù)字圖書館技術(shù)正面臨著一場新的技術(shù)革命。采用網(wǎng)格技術(shù)能增加數(shù)字圖書館成本的有效性,也能增強(qiáng)數(shù)字圖書館服務(wù)的適應(yīng)性,真正解決數(shù)字圖書館資源的信息資源存儲(chǔ)問題。數(shù)字圖書館只有借助于先進(jìn)的網(wǎng)格技術(shù),才能真正推動(dòng)數(shù)字圖書館研究和建設(shè)的更深人發(fā)展。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)實(shí)現(xiàn)的研究

【摘要】網(wǎng)絡(luò)技術(shù)的運(yùn)用是現(xiàn)階段的主流技術(shù)手段,由于互聯(lián)網(wǎng)的普及和發(fā)展直接導(dǎo)致互聯(lián)網(wǎng)相關(guān)技術(shù)持續(xù)升溫。而網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)技術(shù)是實(shí)現(xiàn)替代傳統(tǒng)存儲(chǔ)技術(shù)的新方法,通過技術(shù)手段的實(shí)現(xiàn),達(dá)到網(wǎng)絡(luò)存儲(chǔ)的目的。選擇安全合理的技術(shù)手段實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)是保證數(shù)據(jù)安全,實(shí)現(xiàn)數(shù)據(jù)備份的主要手段。

【關(guān)鍵詞】網(wǎng)絡(luò);存儲(chǔ)技術(shù);數(shù)據(jù)安全;備份

一、前言

在網(wǎng)絡(luò)技術(shù)持續(xù)發(fā)展的今天,實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)是解決現(xiàn)階段數(shù)據(jù)流失的主要手段,通過網(wǎng)絡(luò)對數(shù)據(jù)實(shí)現(xiàn)備份可以很好的實(shí)現(xiàn)數(shù)據(jù)的移動(dòng)化。本文針對現(xiàn)階段的三種主要的網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方式進(jìn)行分析研究,確定其技術(shù)實(shí)現(xiàn)方式,了解實(shí)現(xiàn)原理。使得對網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)有進(jìn)一步的認(rèn)識(shí)。

二、RAID存儲(chǔ)技術(shù)

1、RAID存儲(chǔ)技術(shù)介紹

RAID是指廉價(jià)(獨(dú)立)磁盤陣列,所謂“磁盤陣列”是指多張磁盤連成一個(gè)陣列上,然后,以某種方式書寫磁盤,這種方式可以在一張或多張磁盤組之間提供數(shù)據(jù)。

從主機(jī)的角度看,控制器使得整個(gè)磁盤組就像一片又快、又大、又可靠的虛擬磁盤。它的初衷主要是為大型網(wǎng)絡(luò)服務(wù)器提供高端的存儲(chǔ)功能和冗余的數(shù)據(jù)安全,在系統(tǒng)中RAID被看作是一個(gè)邏輯分區(qū),但它是由多個(gè)硬盤組成的,通過在多個(gè)硬盤上同時(shí)儲(chǔ)存和讀取數(shù)據(jù)來大幅度提高存儲(chǔ)系統(tǒng)的數(shù)據(jù)吞吐量。而且在很多RAID模式中都有較為完備的、相互校驗(yàn)與恢復(fù)的措施,甚至是直接相互的鏡像存儲(chǔ)。當(dāng)數(shù)據(jù)災(zāi)難發(fā)生時(shí)可以自動(dòng)修復(fù),從而大大提高了RAID系統(tǒng)的容錯(cuò)度,穩(wěn)定了系統(tǒng)的冗余性。

2、RAID技術(shù)規(guī)范

RAID技術(shù)是一種工業(yè)標(biāo)準(zhǔn)。通常將組成磁盤陣列的不同方式分為RAID級(jí)別。隨著RAID技術(shù)的不斷發(fā)展?,F(xiàn)在已擁有了以RAID 0到RAID 6七種基本的級(jí)別。另外,還有一些基本RAID級(jí)別的組合形式,如RAID 1 0、RAID 5 0等?,F(xiàn)將RAID級(jí)別在應(yīng)用中的實(shí)現(xiàn)作進(jìn)一步的研究。

(一)、RAID 0:是連續(xù)以位或字節(jié)為單位分割數(shù)據(jù),并行讀寫于多個(gè)磁盤上。因此具有很高的數(shù)據(jù)傳輸速率,但它沒有數(shù)據(jù)冗余。它只是單純地提高性能,而且其中的一個(gè)磁盤失效將影響到所有數(shù)據(jù)。因此,它不能應(yīng)用于數(shù)據(jù)安全性高的場合。

(二)、RAID 1:通常被稱為RAID鏡像,是通過磁盤數(shù)據(jù)鏡像實(shí)現(xiàn)數(shù)據(jù)冗余,在成對的獨(dú)立磁盤上產(chǎn)生互為備份的數(shù)據(jù),即所有數(shù)據(jù)都進(jìn)行百分之百的備份。當(dāng)原始數(shù)據(jù)繁忙時(shí),可直接從鏡像磁盤上讀寫,而不需要重組失效數(shù)據(jù)。

(三)、RAID0+1:也稱為RAID 1 0標(biāo)準(zhǔn),至少需要4塊硬盤才可以實(shí)現(xiàn),不過它綜合了RAID 0和RAID 1的特點(diǎn),將獨(dú)立磁盤配置成RAID 0,兩套完整的RAID 0互換鏡像。但構(gòu)建RAID 0+1陣列的成本投入大,數(shù)據(jù)空間利用率只有50%。

(四)、RAID 2:是按位分配數(shù)據(jù)到多個(gè)驅(qū)動(dòng)器的,在寫入數(shù)據(jù)時(shí)一個(gè)磁盤上保存數(shù)據(jù)的各個(gè)位。同時(shí)把一個(gè)數(shù)據(jù)不同的位運(yùn)算到海明校驗(yàn)碼保存在另一組磁盤上,在數(shù)據(jù)發(fā)生錯(cuò)誤的情況下將錯(cuò)誤校正。這種編碼技術(shù)需要多個(gè)磁盤存放檢查及恢復(fù)信息,使得RAID 2技術(shù)實(shí)施更復(fù)雜、速度最慢,因此在商業(yè)環(huán)境中很少使用,最適合用于諸如圖像之類的應(yīng)用。

(五)、RAID 3:通常是按字節(jié)將數(shù)據(jù)劃分為條紋分配在許多驅(qū)動(dòng)器上,雖然也可按位劃分.但它在陣列時(shí)專用一個(gè)驅(qū)動(dòng)器保存奇偶校驗(yàn)信息,因此它同RAID 2非常類似,區(qū)別在于它使用簡單的奇偶校驗(yàn),并用單塊磁盤存放奇偶校驗(yàn)信息。如果一塊磁盤失效,奇偶盤及其他數(shù)據(jù)盤可以重新產(chǎn)生數(shù)據(jù);如果奇偶校驗(yàn)失效,則不影響數(shù)據(jù)使用,但奇偶盤會(huì)成為寫操作的瓶頸。

(六)、RAID 4:除了按扇區(qū)而不是按字節(jié)對數(shù)據(jù)劃分條紋外,RAID 4與RAID 3相似,同樣也將數(shù)據(jù)條塊化并分布于不同的磁盤上,但條塊單位為塊或記錄。它使用一塊磁盤作為奇偶校驗(yàn)盤,這時(shí)奇偶校驗(yàn)盤會(huì)成為寫操作的瓶頸。因此它在商業(yè)環(huán)境中也很少使用。

(七)、RAID 5:是把數(shù)據(jù)和相對應(yīng)的奇偶校驗(yàn)信息存儲(chǔ)到組成RAID 5的各個(gè)磁盤上,并且奇偶校驗(yàn)信息和相對應(yīng)的數(shù)據(jù)分別存儲(chǔ)在不同磁盤上。它使用一種特殊算法,可以計(jì)算出任何一個(gè)區(qū)域校驗(yàn)塊的存儲(chǔ)位置。這樣就可以確保對校驗(yàn)塊的任何讀寫操作都會(huì)在所有RAID磁盤中進(jìn)行均衡.從而消除產(chǎn)生瓶頸的可能。它讀出效率很高,寫入效率一般.塊式的集體訪問效率較佳,但控制器的設(shè)計(jì)也相當(dāng)困難。

(八)、RAID 6:與RAID 5相比,它增加了第二個(gè)獨(dú)立的奇偶校驗(yàn)信息塊。兩個(gè)獨(dú)立的奇偶校驗(yàn)系統(tǒng)使用不同的算法.?dāng)?shù)據(jù)的可靠性非常高,即使兩塊磁盤同時(shí)失效也不會(huì)影響數(shù)據(jù)的使用。相對于RAID 5有更大的寫“損失”,因此“寫性能”非常差。

(九)、RAID 7:這是一種新RAID標(biāo)準(zhǔn),其自身帶有智能化實(shí)時(shí)操作系統(tǒng)和用于存儲(chǔ)管理的軟件工具,可完全獨(dú)立于主機(jī)運(yùn)行,不占用主機(jī)CPU資源。它采用優(yōu)化的高速數(shù)據(jù)傳送磁盤結(jié)構(gòu),所有的I/O傳送均是同步進(jìn)行的,可以分別控制.這樣提高了系統(tǒng)的并行性和系統(tǒng)訪問數(shù)據(jù)的速度;每個(gè)磁盤都帶有高速緩沖存儲(chǔ)器,實(shí)時(shí)操作系統(tǒng)可以使用任何操作芯片.達(dá)到不同實(shí)時(shí)系統(tǒng)需要。當(dāng)多用戶訪問系統(tǒng)時(shí)。可以連續(xù)多臺(tái)主機(jī),訪問時(shí)間幾乎接近于零。

三、IP存儲(chǔ)技術(shù)

IP存儲(chǔ)技術(shù)作為新興的網(wǎng)絡(luò)存儲(chǔ)技術(shù)得到了迅猛的發(fā)展,越來越多的企業(yè)選擇了IP存儲(chǔ)作為存儲(chǔ)解決方案。另一方面,隨著信息化建設(shè)的迅猛發(fā)展,計(jì)算機(jī)系統(tǒng)已成為各企事業(yè)單位的基礎(chǔ)設(shè)施,數(shù)據(jù)成為關(guān)系到企業(yè)生存的重要資源,是企業(yè)賴以生存的命脈,其價(jià)值遠(yuǎn)遠(yuǎn)大于設(shè)備的價(jià)值。然而,病毒木馬、軟件故障、及人為誤操作等不確定因素時(shí)刻威脅著數(shù)據(jù)的安全,數(shù)據(jù)安全性問題愈來愈突出。

各個(gè)層次的計(jì)算機(jī)信息系統(tǒng)的使用者也積極關(guān)注自己系統(tǒng)的安全問題,對數(shù)據(jù)存儲(chǔ)安全更加重視,備份系統(tǒng)成為保障數(shù)據(jù)安全的重要系統(tǒng)。數(shù)據(jù)備份是一種數(shù)據(jù)安全策略,是保護(hù)數(shù)據(jù)安全的有力措施,已成為信息安全領(lǐng)域一個(gè)備受矚目的研究方向。IP數(shù)據(jù)存儲(chǔ)系統(tǒng)能夠根據(jù)用戶自身業(yè)務(wù)的需要設(shè)計(jì)備份方案。分別由備份服務(wù)器、存儲(chǔ)服務(wù)器、備份實(shí)現(xiàn)三方交互協(xié)議。物理上各子系統(tǒng)獨(dú)立安裝運(yùn)行,邏輯上備份服務(wù)器主導(dǎo)整個(gè)系統(tǒng)的運(yùn)行,備份和存儲(chǔ)服務(wù)器接受備份服務(wù)器發(fā)送的命令運(yùn)行任務(wù),用戶從Web界面發(fā)出命令并發(fā)送給備份服務(wù)器處理。

四、無限傳感存儲(chǔ)技術(shù)

無線傳感器網(wǎng)絡(luò)的根本任務(wù)是準(zhǔn)確、高效地提取環(huán)境中有價(jià)值的信息發(fā)送給用戶。無線傳感器網(wǎng)絡(luò)是一個(gè)數(shù)據(jù)為中心的網(wǎng)絡(luò),無論其應(yīng)用場景和底層硬件部署如何,應(yīng)用層用戶最為關(guān)心的問題是如何將各個(gè)傳感器節(jié)點(diǎn)感知的監(jiān)測數(shù)據(jù)進(jìn)行有效傳輸和存儲(chǔ),從而保證后期高效、可靠、實(shí)時(shí)的訪問。因此數(shù)據(jù)存儲(chǔ)是無線傳感器網(wǎng)絡(luò)一個(gè)重要的研究領(lǐng)域。當(dāng)前的數(shù)據(jù)存儲(chǔ)算法根據(jù)存儲(chǔ)策略的不同主要分為本地存儲(chǔ)、外部存儲(chǔ)、數(shù)據(jù)為中心存儲(chǔ)三種。

地理信息路由是數(shù)據(jù)為中心的存儲(chǔ)中應(yīng)用最廣泛的一種經(jīng)典路由,周界轉(zhuǎn)遞模式在尋找存儲(chǔ)節(jié)點(diǎn)時(shí)存在著轉(zhuǎn)遞次數(shù)過多引起的能量浪費(fèi),提出了一種可以減少周界轉(zhuǎn)遞的位置逼近算法。該算法的思想是:在數(shù)據(jù)轉(zhuǎn)遞中,當(dāng)節(jié)點(diǎn)距離目的位置足夠近時(shí),則修剪掉后面的周界轉(zhuǎn)遞過程。地理位置逼近算法可以有效減少周界轉(zhuǎn)遞造成的能量消耗,從而提高網(wǎng)絡(luò)能量利用率。 基于網(wǎng)格的存儲(chǔ)節(jié)點(diǎn)動(dòng)態(tài)分配算法 GBMT,使事件數(shù)據(jù)更加均勻的存儲(chǔ)在節(jié)點(diǎn)上。該算法主要思想是:把事件映射到一個(gè)網(wǎng)格中,根據(jù)節(jié)點(diǎn)的當(dāng)前的存儲(chǔ)空間和能量,該網(wǎng)格動(dòng)態(tài)的分配存儲(chǔ)該事件的節(jié)點(diǎn)。通過設(shè)置閾值和虛擬坐標(biāo)兩個(gè)機(jī)制,防止某個(gè)節(jié)點(diǎn)過多的擔(dān)任存儲(chǔ)的任務(wù),避免熱點(diǎn)問題。該算法使數(shù)據(jù)在網(wǎng)內(nèi)存儲(chǔ)分布更加均勻,進(jìn)而提高網(wǎng)絡(luò)服務(wù)質(zhì)量,延長網(wǎng)絡(luò)使用壽命。 

五、結(jié)束語

通過對現(xiàn)階段已有的三種網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)方式進(jìn)行深入研究可以清楚的知道,現(xiàn)階段的移動(dòng)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)已經(jīng)可以通過這三種方式實(shí)現(xiàn),針對數(shù)據(jù)的安全等方面也做了相應(yīng)的研究,保障用戶的數(shù)據(jù)安全是實(shí)現(xiàn)網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)最關(guān)鍵的一步。相信通過不斷的研究,網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)必將開啟新的篇章。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:高性能氣象數(shù)據(jù)存儲(chǔ)集群及在線擴(kuò)展技術(shù)應(yīng)用

作者簡介:趙春燕(1984—),女, 北京人,工程師,研究方向:高性能計(jì)算系統(tǒng)管理維護(hù)、軟件配置管理(E-mail:);孫英銳(1973—),男,河北遷交人,高級(jí)工程師,碩士,研究方向:氣象數(shù)據(jù)存儲(chǔ)管理。

摘要:為了滿足氣象數(shù)據(jù)快速增長和高效應(yīng)用的業(yè)務(wù)需求,設(shè)計(jì)采用基于SAN和GPFS的高性能存儲(chǔ)集群進(jìn)行數(shù)據(jù)存儲(chǔ),并隨著數(shù)據(jù)量的快速增長,實(shí)現(xiàn)靈活在線擴(kuò)展以滿足數(shù)據(jù)存儲(chǔ)需求。結(jié)合國家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)、省級(jí)風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)和風(fēng)能資源數(shù)值模擬系統(tǒng)的存儲(chǔ)設(shè)計(jì),闡述基于SAN和GPFS技術(shù)的存儲(chǔ)集群架構(gòu),并重點(diǎn)介紹存儲(chǔ)集群的在線擴(kuò)展技術(shù)的實(shí)現(xiàn)?;赟AN和GPFS的存儲(chǔ)集群在線擴(kuò)展技術(shù)包含在線擴(kuò)展服務(wù)器節(jié)點(diǎn)、在線擴(kuò)展存儲(chǔ)容量和在線擴(kuò)展文件系統(tǒng)容量三方面,實(shí)現(xiàn)了氣象數(shù)據(jù)存儲(chǔ)系統(tǒng)隨著業(yè)務(wù)數(shù)據(jù)變化的靈活擴(kuò)展,使系統(tǒng)具備優(yōu)秀的擴(kuò)展性和適應(yīng)性。

關(guān)鍵詞:氣象數(shù)據(jù)存儲(chǔ);存儲(chǔ)集群;SAN;GPFS集群;在線擴(kuò)展

1引言

隨著氣象事業(yè)和科技水平的迅速發(fā)展,氣象數(shù)據(jù)的種類、數(shù)量也隨之迅速增長,目前氣象數(shù)據(jù)的存儲(chǔ)采用數(shù)據(jù)庫和共享文件系統(tǒng)兩種技術(shù),根據(jù)數(shù)據(jù)特點(diǎn)和服務(wù)方式將數(shù)據(jù)按照在線、近線和離線三種方式進(jìn)行存儲(chǔ)。由于氣象數(shù)據(jù)種類多、數(shù)量大、格式多樣,除通用數(shù)據(jù)庫、專題數(shù)據(jù)庫存儲(chǔ)的數(shù)據(jù)之外,還有大量的數(shù)據(jù)采用高性能的共享文件系統(tǒng)實(shí)現(xiàn)在高速磁盤陣列上的直接在線存儲(chǔ),以滿足業(yè)務(wù)應(yīng)用、服務(wù)和安全備份的需求。隨著業(yè)務(wù)的不斷豐富,數(shù)據(jù)量呈現(xiàn)快速增長,大量數(shù)據(jù)庫系統(tǒng)也采用高性能共享文件系統(tǒng)作為底層存儲(chǔ),如何高效的訪問存儲(chǔ),保障業(yè)務(wù)應(yīng)用的數(shù)據(jù)訪問效率,同時(shí)考慮滿足不斷增長的數(shù)據(jù)存儲(chǔ)需求,靈活的在線擴(kuò)展,成為存儲(chǔ)系統(tǒng)設(shè)計(jì)和實(shí)現(xiàn)中必須考慮的問題。

我國氣象部門應(yīng)用廣泛采用GPFS(General Parallel File System)[1]、NFS(Network File System)[2]等共享文件系統(tǒng)。GPFS是一個(gè)可擴(kuò)展、高性能、安全的通用并行文件系統(tǒng),在性能和安全性上優(yōu)于NFS[3],結(jié)合SAN(Storage Area Network)[4] 高速高可靠網(wǎng)絡(luò)互聯(lián)技術(shù),構(gòu)成高性能的數(shù)據(jù)存儲(chǔ)集群[5],實(shí)現(xiàn)大容量數(shù)據(jù)庫存儲(chǔ)和直接的在線存儲(chǔ),廣泛的應(yīng)用于氣象信息系統(tǒng)數(shù)據(jù)庫、共享數(shù)據(jù)存儲(chǔ)系統(tǒng)建設(shè)中。

針對基于SAN和GPFS的存儲(chǔ)集群架構(gòu),探討了在數(shù)據(jù)計(jì)算和處理能力、存儲(chǔ)容量、文件系統(tǒng)容量變更等三方面的在線擴(kuò)展技術(shù),對氣象數(shù)據(jù)存儲(chǔ)系統(tǒng)的靈活擴(kuò)展具有重要意義。

2高性能氣象數(shù)據(jù)存儲(chǔ)集群設(shè)計(jì)

基于SAN和GPFS的存儲(chǔ)集群物理架構(gòu)包含三層,1)存儲(chǔ)層:高速磁盤陣列;2)SAN存儲(chǔ)網(wǎng)絡(luò)層:冗余鏈路配置的高速SAN存儲(chǔ)區(qū)域網(wǎng);3)服務(wù)器層:至少兩臺(tái)的服務(wù)器作為冗余的數(shù)據(jù)訪問處理節(jié)點(diǎn)。

2.1存儲(chǔ)集群架構(gòu)設(shè)計(jì)

2.1.1.物理架構(gòu) 本實(shí)例采用三臺(tái)服務(wù)器作為集群節(jié)點(diǎn),配置兩臺(tái)冗余SAN光纖交換機(jī),四臺(tái)磁盤陣列。每臺(tái)服務(wù)器配置兩塊HBA卡,冗余連接至兩臺(tái)SAN交換機(jī)。每臺(tái)光纖交換機(jī)配置2個(gè)控制器,每個(gè)控制器兩個(gè)端口,將每個(gè)控制器冗余連接到兩臺(tái)SAN交換機(jī)。如圖1所示,為存儲(chǔ)集群的物理架構(gòu),冗余配置保證了在Zone劃分后集群的高可靠性。服務(wù)器節(jié)點(diǎn)間通過以太網(wǎng)連接,服務(wù)器節(jié)點(diǎn)和存儲(chǔ)之間的連接鏈路采用光纖線,磁盤陣列采用高端磁盤陣列,構(gòu)成高性能數(shù)據(jù)存儲(chǔ)管理集群,根據(jù)業(yè)務(wù)數(shù)據(jù)訪問性能需求和磁盤陣列的光纖出口速率,可對集群性能進(jìn)行精細(xì)化分析,在此不詳細(xì)探討。

2.1.2邏輯架構(gòu)

使集群節(jié)點(diǎn)訪問存儲(chǔ)設(shè)備的路徑唯一,需要對連接到SAN中的服務(wù)器和存儲(chǔ)劃分Zone,實(shí)現(xiàn)設(shè)備的隔離。Zone劃分好以后,配置GPFS集群,形成邏輯上的存儲(chǔ)集群。存儲(chǔ)集群的邏輯架構(gòu)如圖2所示,GPFS將物理磁盤映射形成虛擬設(shè)備NSD(Network Share Disk),將一個(gè)或多個(gè)NSD作為邏輯文件設(shè)備掛載到服務(wù)器節(jié)點(diǎn)上提供給文件系統(tǒng)使用。

2.2存儲(chǔ)集群構(gòu)建

2.2.1物理結(jié)構(gòu)配置

1)將三臺(tái)服務(wù)器連接至以太網(wǎng)絡(luò),配置光纖交換機(jī),配置Domain。

SAN1:Domain為1,SAN2:Domain為2

2)規(guī)劃服務(wù)器節(jié)點(diǎn)和存儲(chǔ)占用的交換機(jī)端口,并按規(guī)則為每個(gè)控制器進(jìn)行編號(hào),在交換機(jī)中配置。

(1)服務(wù)器節(jié)點(diǎn)

控制器A:I-SRV-1-A-1:1,1 ;

控制器B:I- SRV-1-B-2:2,1 ;

各項(xiàng)含義為:交換-服務(wù)器-服務(wù)器編號(hào)-控制器-Domain:Domain,端口號(hào)

(2)磁盤陣列

控制器A:I-DS42-1-A-1:1,4 ;

控制器A:I-DS42-1-A-2:2,4 ;

控制器B:I- DS42-1-B-1:1,5 ;

控制器B:I- DS42-1-B-2:2,5 ;

各項(xiàng)含義為:交換-陣列名稱-陣列編號(hào)-控制器-Domain:Domain,端口號(hào)

3)物理連線:按照圖1所示結(jié)構(gòu)和端口規(guī)劃,用光纖線連接服務(wù)器、SAN交換機(jī)和磁盤陣列。

4)Zone劃分:創(chuàng)建Zone,并指定該Zone所包含的端口,將Zone添加到配置中,保存配置,并使其生效。

5)LUN Mapping:基于存儲(chǔ)管理軟件,將LUN與集群節(jié)點(diǎn)的端口進(jìn)行綁定,使LUN與主機(jī)建立一對一或者多對一的映射關(guān)系。

2.2.2GPFS集群構(gòu)建

如圖3所示,在物理架構(gòu)搭建后,對各個(gè)服務(wù)器節(jié)點(diǎn)做互信配置,并在每個(gè)節(jié)點(diǎn)上安裝GPFS軟件包,創(chuàng)建GPFS集群。根據(jù)應(yīng)用需求創(chuàng)建文件系統(tǒng),提供給文件存儲(chǔ)使用或數(shù)據(jù)庫應(yīng)用,則構(gòu)成GPFS高性能存儲(chǔ)集群。

3存儲(chǔ)集群在線擴(kuò)展技術(shù)

圖2所示GPFS存儲(chǔ)集群的邏輯結(jié)構(gòu)分為三層,服務(wù)器節(jié)點(diǎn)層、文件系統(tǒng)層、磁盤存儲(chǔ)層。GPFS存儲(chǔ)集群的擴(kuò)展包含這三方面:在線擴(kuò)展服務(wù)器節(jié)點(diǎn)、在線擴(kuò)展磁盤容量和在線擴(kuò)展文件系統(tǒng)。

3.1在線擴(kuò)展服務(wù)器節(jié)點(diǎn)

風(fēng)能資源數(shù)值模擬系統(tǒng)[6,7,8]基于SAN和GPFS的集群架構(gòu),由7臺(tái)服務(wù)器節(jié)點(diǎn)構(gòu)成高性能數(shù)據(jù)存儲(chǔ)處理集群,但風(fēng)能資源數(shù)值模擬業(yè)務(wù)涉及大量的計(jì)算和數(shù)據(jù)處理,隨著業(yè)務(wù)計(jì)算需求的增加,7個(gè)節(jié)點(diǎn)的處理能力逐漸顯得不足,需要在不影響現(xiàn)有應(yīng)用的情況下在線擴(kuò)展集群節(jié)點(diǎn)至16個(gè)。圖4所示,將G07至G15節(jié)點(diǎn)在線增加至GPFS集群,流程與新建GPFS集群流程相似,如圖5所示,在物理連接配置環(huán)節(jié),將新增的節(jié)點(diǎn)逐一加入到已有的Zone中,并使配置生效,在集群配置環(huán)節(jié)將節(jié)點(diǎn)增加至集群。集群節(jié)點(diǎn)的擴(kuò)展包括剔除節(jié)點(diǎn),直接執(zhí)行最后一個(gè)環(huán)節(jié):從GPFS集群刪除節(jié)點(diǎn)操作。

3.2在線擴(kuò)展磁盤容量

國家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)[9,10](簡稱“存儲(chǔ)系統(tǒng)”)中采用了基于SAN和GPFS的集群架構(gòu),提供高性能計(jì)算機(jī)用戶無法在高性能計(jì)算機(jī)上長期在線保存而又需要保存的各類數(shù)據(jù)以及需要備份和歸檔的數(shù)據(jù)。

擴(kuò)容前存儲(chǔ)能力為337.8TB,可用磁盤容量以所有文件系統(tǒng)平均90%為可用上限計(jì)算為304.02TB,僅有20TB左右的余量,無法滿足數(shù)據(jù)量的增長,通過在線擴(kuò)展磁盤陣列,實(shí)現(xiàn)系統(tǒng)無業(yè)務(wù)影響擴(kuò)容80TB,如圖6所示。

集群中存儲(chǔ)容量的擴(kuò)展,需要將新增的磁盤設(shè)備用光纖連線加入SAN中,并加入Zone的配置使其生效,將LUN與集群中的節(jié)點(diǎn)進(jìn)行綁定。

流程如圖7所示,將已連接集群的該存儲(chǔ)設(shè)備創(chuàng)建為虛擬的NSD,并創(chuàng)建文件系統(tǒng),分配這些空閑的NSD給掛載的文件系統(tǒng)。

3.3在線擴(kuò)展文件系統(tǒng)容量

省級(jí)風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)[11,12]基于基礎(chǔ)地理信息、風(fēng)能資源專業(yè)觀測網(wǎng)數(shù)據(jù)、詳查區(qū)數(shù)值模擬結(jié)果與綜合評(píng)估數(shù)據(jù),為決策部門、業(yè)務(wù)用戶、行業(yè)用戶以及公眾用戶提供不同層次的風(fēng)能數(shù)據(jù)共享服務(wù),其數(shù)據(jù)庫存儲(chǔ)基于SAN和GPFS的集群架構(gòu)設(shè)計(jì)實(shí)現(xiàn)。

表1所示為省級(jí)風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)文件系統(tǒng)容量擴(kuò)展前的參數(shù)值,系統(tǒng)共建立四個(gè)文件系統(tǒng),業(yè)務(wù)流程調(diào)試過程中發(fā)現(xiàn)/dev/gpfs_DB文件系統(tǒng)容量預(yù)估過小,不能滿足應(yīng)用需求,擬在不影響現(xiàn)有系統(tǒng)數(shù)據(jù)存儲(chǔ)的情況下,對系統(tǒng)進(jìn)行調(diào)整。

表2所示調(diào)整后情況,與表1所示調(diào)整前文件系統(tǒng)容量分布比較可以看出,/dev/gpfs_mysql文件系統(tǒng)容量由調(diào)整前的5.5TB縮減為2.2TB,/dev/gpfs_DB文件系統(tǒng)的容量由調(diào)整前的2.2TB,增加至5.5TB,而調(diào)整前后系統(tǒng)總?cè)萘课锤淖儭U{(diào)整過程在線進(jìn)行,對用戶和應(yīng)用透明,未對現(xiàn)有數(shù)據(jù)發(fā)生影響。

該方法是在線實(shí)現(xiàn)容量調(diào)整的,但在實(shí)踐中需要注意三點(diǎn):1)GPFS在刪除磁盤前會(huì)自動(dòng)遷移走該盤上的數(shù)據(jù),前提是該刪除的磁盤是好的、可用的;2)除去要?jiǎng)h除的磁盤之外,是否剩余足夠的磁盤空間存儲(chǔ)文件系統(tǒng)中的數(shù)據(jù)。3)在執(zhí)行調(diào)整命令后留出一定的時(shí)間供GPFS元數(shù)據(jù)同步,防止元數(shù)據(jù)不一致導(dǎo)致的性能下降的問題。

3.4系統(tǒng)擴(kuò)展效果

以上三套系統(tǒng)所采用的基于SAN和GPFS架構(gòu)的存儲(chǔ)集群,其分層的存儲(chǔ)架構(gòu)和靈活的在線擴(kuò)展技術(shù)使得系統(tǒng)具有良好的業(yè)務(wù)適應(yīng)性,能夠提供高效的數(shù)據(jù)存儲(chǔ)訪問,并能夠隨著業(yè)務(wù)需求變化而快速、安全、無縫的擴(kuò)展。

4總結(jié)

本文介紹了國家級(jí)氣象資料存儲(chǔ)檢索系統(tǒng)、省級(jí)風(fēng)能資源數(shù)據(jù)庫共享服務(wù)系統(tǒng)和風(fēng)能資源數(shù)值模擬系統(tǒng)的存儲(chǔ)架構(gòu)和在線擴(kuò)展的實(shí)施,闡述了基于SAN和GPFS技術(shù)的高性能氣象數(shù)據(jù)存儲(chǔ)集群架構(gòu)及其在線擴(kuò)展技術(shù),實(shí)現(xiàn)了存儲(chǔ)集群數(shù)據(jù)處理能力、數(shù)據(jù)存儲(chǔ)容量及文件系統(tǒng)容量隨著氣象數(shù)據(jù)和業(yè)務(wù)需求變化的靈活擴(kuò)展。經(jīng)過實(shí)踐的檢驗(yàn),該存儲(chǔ)架構(gòu)具備靈活的可擴(kuò)展性和適應(yīng)性,能夠在不影響已有數(shù)據(jù)應(yīng)用服務(wù)的前提下實(shí)現(xiàn)在線擴(kuò)展,適用于快速增長的氣象數(shù)據(jù)存儲(chǔ)管理的需求。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)技術(shù)分析

摘 要 社會(huì)經(jīng)濟(jì)的快速發(fā)展帶動(dòng)了科學(xué)技術(shù)的進(jìn)步,尤其是計(jì)算機(jī)技術(shù)的發(fā)展可謂突飛猛進(jìn),目前已經(jīng)出現(xiàn)了新的計(jì)算形式,即云計(jì)算。該種計(jì)算模式的出現(xiàn),實(shí)際上就是對互聯(lián)網(wǎng)技術(shù)的一種升華和體現(xiàn),在此背景下的數(shù)據(jù)存儲(chǔ)技術(shù)也成為非常重要的一個(gè)技術(shù)領(lǐng)域。本文將對云計(jì)算與數(shù)據(jù)存儲(chǔ)問題進(jìn)行簡單闡釋,并在此基礎(chǔ)上就云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)技術(shù)談一下自己的認(rèn)識(shí),以供參考。

關(guān)鍵詞 云計(jì)算;數(shù)據(jù)存儲(chǔ);研究

所謂云計(jì)算,實(shí)際上就是一種以服務(wù)為主體的現(xiàn)代架構(gòu)體系,基本服務(wù)形式有兩種,一種是云計(jì)算,另一種是云存儲(chǔ)。云計(jì)算是計(jì)算機(jī)技術(shù)快速的一種新形式,這種基于云計(jì)算服務(wù)體系的現(xiàn)代應(yīng)用程序,在現(xiàn)代金融服務(wù)領(lǐng)域、網(wǎng)絡(luò)系統(tǒng)中扮演著非常重要的角色,幾乎在所有的環(huán)境下都需要云存儲(chǔ)來滿足數(shù)據(jù)處理要求。因此,在當(dāng)前的形勢下,加強(qiáng)對云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)技術(shù)問題研究,具有非常重大的現(xiàn)實(shí)意義。

1 云計(jì)算與云存儲(chǔ)

1.1 云計(jì)算

云計(jì)算主要是基于Internet技術(shù)提供服務(wù)的一種技術(shù)形式,它可以提供動(dòng)態(tài)化的可伸縮、虛擬資源計(jì)算模式。其中,云是一種比喻性的說法,實(shí)質(zhì)是計(jì)算機(jī)網(wǎng)絡(luò)和互聯(lián)網(wǎng)。傳統(tǒng)意義上的“云”代表的是電信網(wǎng),近年來才用于互聯(lián)網(wǎng)、基礎(chǔ)設(shè)施抽象表達(dá)。云計(jì)算通過計(jì)算,使大量的數(shù)據(jù)信息分布于計(jì)算機(jī)之上,并非本地計(jì)算機(jī)、遠(yuǎn)程服務(wù)器之中,而企業(yè)數(shù)據(jù)中心的實(shí)際運(yùn)行與計(jì)算機(jī)互聯(lián)網(wǎng)非常相似,這在很大程度上可以使企業(yè)將資源信息切換至客觀應(yīng)用上,并且根據(jù)實(shí)際需求,對計(jì)算機(jī)及其存儲(chǔ)系統(tǒng)進(jìn)行訪問。簡單地說,正如從傳統(tǒng)的單臺(tái)發(fā)電機(jī)模式向現(xiàn)代的電廠集中供電模式轉(zhuǎn)變一樣,這意味著計(jì)算能力已經(jīng)作為商品在流通,并且像水電一樣,利用方便而費(fèi)用低廉,主要區(qū)別在于它是借助互聯(lián)網(wǎng)技術(shù)進(jìn)行傳輸。

1.2 云存儲(chǔ)

所謂云存儲(chǔ),實(shí)際上基于云計(jì)算概念延伸出來的新概念,它與云計(jì)算非常相似,以集群應(yīng)用、分布式文件系統(tǒng)以及網(wǎng)格技術(shù)等功能為基礎(chǔ),將計(jì)算網(wǎng)絡(luò)中的各種存儲(chǔ)設(shè)備借助應(yīng)用軟件進(jìn)行有效集中,從而使其協(xié)同作業(yè),具體功能是對外提供相關(guān)的數(shù)據(jù)存儲(chǔ)以及業(yè)務(wù)訪問。從本質(zhì)上來講,云存儲(chǔ)是對當(dāng)前存儲(chǔ)模式的一種創(chuàng)新,同時(shí)也是特殊的架構(gòu)服務(wù)之一。形象地說,就像是云一樣的廣域網(wǎng)、互聯(lián)網(wǎng),對應(yīng)用者而言,具有透明性;云存儲(chǔ)的關(guān)鍵在于相關(guān)應(yīng)用程序軟件、存儲(chǔ)設(shè)備之間的有機(jī)結(jié)合,并且通過這些應(yīng)用軟件來實(shí)現(xiàn)存儲(chǔ)設(shè)備之間的服務(wù)轉(zhuǎn)變。

2 云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)體系構(gòu)建

實(shí)踐中,云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ)體系,主要包括數(shù)據(jù)中心、云服務(wù)接口、云用戶以及服務(wù)協(xié)議等內(nèi)容,其中數(shù)據(jù)中心主要由存儲(chǔ)管理、分布式文件系統(tǒng)以及存儲(chǔ)設(shè)備等構(gòu)成,同時(shí)它也是云計(jì)算環(huán)境下實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的基礎(chǔ)。云存儲(chǔ)設(shè)備通常沒有特殊的規(guī)定的類型,既可以是個(gè)人PC,也可是企業(yè)發(fā)展過程中所應(yīng)用的專門存儲(chǔ)設(shè)備,甚至是二者的結(jié)合體。分布式文件系統(tǒng),即文件系統(tǒng)管理中的物理存儲(chǔ)資源是通過網(wǎng)絡(luò)節(jié)點(diǎn)之間相互連接的,該系統(tǒng)的設(shè)計(jì)主要是依據(jù)客戶機(jī)、服務(wù)器模式。

2.1 服務(wù)器架構(gòu)

云存儲(chǔ)體系構(gòu)建之前,應(yīng)當(dāng)先構(gòu)建云存儲(chǔ)服務(wù)器架構(gòu),它是云計(jì)算IAAS中重要組成部分,可通過多樣化的架構(gòu)技術(shù)實(shí)現(xiàn),常見的是附網(wǎng)存儲(chǔ)(NAS)以及存儲(chǔ)區(qū)域網(wǎng)(SAN)。

NAS屬于分布式架構(gòu)系統(tǒng)的文件存儲(chǔ)系統(tǒng),是一種松散結(jié)合型集群,實(shí)踐中可有效滿足以云存儲(chǔ)為主體的環(huán)境要求,而且在該系統(tǒng)集群中,任何一個(gè)節(jié)點(diǎn)都是相對獨(dú)立的實(shí)體。在此系統(tǒng)中,最小單位即為文件。當(dāng)文件被保存在該集群之中時(shí),其數(shù)據(jù)信息會(huì)被有效地保存在集群中的特定節(jié)點(diǎn)上,雖然文件副本很多,也可能會(huì)被重新定位到另外的節(jié)點(diǎn)上,從而形成冗余,但該節(jié)點(diǎn)提供的文件單實(shí)例卻是唯一的。下圖為NAS存儲(chǔ)架構(gòu)示意圖如圖1所示。

實(shí)踐中可以看到,SAN為集群架構(gòu)塊存儲(chǔ)系統(tǒng)的一種,即為緊密結(jié)合型集群系統(tǒng)。當(dāng)文件請求產(chǎn)生時(shí),每一個(gè)節(jié)點(diǎn)都會(huì)訪問該文件中的不同數(shù)據(jù)塊,并對用戶的請求進(jìn)行及時(shí)的處理。用戶請求越多,SAN響應(yīng)請求可用節(jié)點(diǎn)數(shù)量就越多,此時(shí)其性能也就越強(qiáng)。實(shí)踐證明,該存儲(chǔ)架構(gòu)比較適合于云服務(wù)器,而且其可擴(kuò)展性非常的好,數(shù)據(jù)傳輸效率較高,若配合P2P以及重復(fù)數(shù)據(jù)刪除技術(shù)使用,可有效滿足一級(jí)存儲(chǔ)要求。

2.2 服務(wù)器之間的數(shù)據(jù)信息傳送

針對當(dāng)前的存儲(chǔ)結(jié)構(gòu)體系,NFS、CIF即為NAS存儲(chǔ)系統(tǒng)的數(shù)據(jù)傳送協(xié)議,將NFS、CIF作為數(shù)據(jù)傳送口,可實(shí)現(xiàn)異構(gòu)平臺(tái)間的信息資源有效共享。NFS在Windows客戶端加載了NFS客戶端軟件,這樣就可以確保Windows客戶端能夠有效融入到UNIX基礎(chǔ)的計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)之中;CIF在UNIX服務(wù)器上也加載了CIFS服務(wù)器端軟件,這樣就可以使UNIX服務(wù)器與本地Windows服務(wù)器一樣。NFS與CIF,使NAS服務(wù)器間形成一個(gè)統(tǒng)一的整體,實(shí)現(xiàn)了云存儲(chǔ)服務(wù)的統(tǒng)一化,并且在集群環(huán)境下,表現(xiàn)非常的突出。ISCSI也是一種SAN數(shù)據(jù)傳送協(xié)議,它可以實(shí)現(xiàn)單客戶端有效應(yīng)用程,像本地客戶端使用服務(wù)器資源一樣,操作結(jié)果對另外客戶端不透明。

3 結(jié)束語

云計(jì)算作為一種典型的現(xiàn)代計(jì)算模式,擁有較大規(guī)模的數(shù)據(jù)集,可向廣大用戶提供最優(yōu)質(zhì)的服務(wù)。云計(jì)算環(huán)境下的數(shù)據(jù)存儲(chǔ),采用的是冗余存儲(chǔ)方式來確保存儲(chǔ)數(shù)據(jù)的安全可靠性,未來云存儲(chǔ)將向著安全性、共享性以及便捷性方向發(fā)展。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:數(shù)據(jù)存儲(chǔ)技術(shù)在云環(huán)境下的應(yīng)用特性分析

【摘 要】隨著IT系統(tǒng)向云計(jì)算技術(shù)方向演進(jìn),數(shù)據(jù)存儲(chǔ)應(yīng)用需求也出現(xiàn)了顯著的變化特點(diǎn),傳統(tǒng)的數(shù)據(jù)存儲(chǔ)已不能滿足云時(shí)代的需要。為解決云時(shí)代的數(shù)據(jù)存儲(chǔ)問題,首先分析了傳統(tǒng)數(shù)據(jù)存儲(chǔ)應(yīng)用技術(shù)現(xiàn)狀,接著在此基礎(chǔ)上分析了塊存儲(chǔ)、分布式存儲(chǔ)、對象存儲(chǔ)、表存儲(chǔ)等非結(jié)構(gòu)化和結(jié)構(gòu)化存儲(chǔ)技術(shù)在云計(jì)算環(huán)境中的不同應(yīng)用及性能特點(diǎn),為云時(shí)代的數(shù)據(jù)存儲(chǔ)技術(shù)提供建議。

【關(guān)鍵詞】云計(jì)算 云存儲(chǔ) 塊存儲(chǔ) 結(jié)構(gòu)化存儲(chǔ)

1 傳統(tǒng)數(shù)據(jù)存儲(chǔ)應(yīng)用現(xiàn)狀

隨著社會(huì)信息時(shí)代的快速發(fā)展,用戶對存儲(chǔ)的需求增長迅速。在進(jìn)入云環(huán)境的時(shí)代,傳統(tǒng)IT系統(tǒng)存儲(chǔ)技術(shù)面臨建設(shè)成本高、運(yùn)維復(fù)雜、擴(kuò)展性有限等問題的挑戰(zhàn),系統(tǒng)存儲(chǔ)擴(kuò)容壓力很大,主要表現(xiàn)在以下幾個(gè)方面:首先,傳統(tǒng)存儲(chǔ)開放性不足,通常采用軟硬件一體化解決方案,標(biāo)準(zhǔn)化程度低,不同廠家系統(tǒng)無法混合使用;其次,成本較高,且市場壟斷嚴(yán)重,建設(shè)成本居高不下,擴(kuò)容成本尤其高;再者,擴(kuò)展性能較差,其單點(diǎn)擴(kuò)展存在容量上限和接口帶寬等限制,面對云時(shí)代PB級(jí)的海量存儲(chǔ)需求,在容量和性能的擴(kuò)展上無法滿足。

長期以來,傳統(tǒng)IT系統(tǒng)存儲(chǔ)一直存在諸多資源配置不合理的狀況,帶來資源浪費(fèi)。一些系統(tǒng)不考慮數(shù)據(jù)的價(jià)值和訪問方式,統(tǒng)一放在磁盤陣列或NAS中,相對于云存儲(chǔ)缺少性能、擴(kuò)展性和低成本的優(yōu)勢。而另有一些系統(tǒng)對磁盤I/O性能要求并不太高,卻仍然采用FC SAN建設(shè),造成建設(shè)成本的浪費(fèi)。大部分系統(tǒng)沒有區(qū)分應(yīng)用對磁盤可靠性的要求,統(tǒng)一使用SAS磁盤,將SATA盤排除在外,造成一定的浪費(fèi)。

傳統(tǒng)的塊存儲(chǔ)承載傳統(tǒng)關(guān)系數(shù)據(jù)庫,在應(yīng)對大數(shù)據(jù)環(huán)境下高性能應(yīng)用系統(tǒng),特別是超大規(guī)模和高并發(fā)的業(yè)務(wù)系統(tǒng)已經(jīng)顯得力不從心,暴露出很多難以克服的問題。傳統(tǒng)關(guān)系數(shù)據(jù)庫穩(wěn)定性高,使用簡單,功能強(qiáng)大,久經(jīng)歷史考驗(yàn),積累了大量的成功案例。但是,隨著網(wǎng)絡(luò)技術(shù)和軟件技術(shù)的飛速發(fā)展,網(wǎng)站也開始快速發(fā)展,近幾年比較火爆的論壇、博客、SNS、微博逐漸引領(lǐng)Web領(lǐng)域的潮流。隨著訪問量的急劇上升,幾乎大部分使用傳統(tǒng)數(shù)據(jù)庫的網(wǎng)站都開始出現(xiàn)了性能問題。Web程序也不再僅僅專注在功能上,同時(shí)也在追求性能,雖然后來MySQL的集群技術(shù)和Memcache的緩存技術(shù)使得MySQL架構(gòu)在一定程度上緩解了性能的壓力,但最終還是因?yàn)槠鋽U(kuò)展性差(需要比較復(fù)雜的技術(shù)來實(shí)現(xiàn)),承受著大數(shù)據(jù)下的I/O壓力,因此依然面臨著很大的問題。

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫系統(tǒng)并不能提供這些應(yīng)用所需要的高可擴(kuò)展性,新型的網(wǎng)絡(luò)應(yīng)用又不像金融等領(lǐng)域那樣需要嚴(yán)格的數(shù)據(jù)一致性和很強(qiáng)的事務(wù)特性,而是對海量數(shù)據(jù)的松散結(jié)構(gòu)表示以及可用性與可擴(kuò)展性提出了更高的要求。很多研究學(xué)者與互聯(lián)網(wǎng)公司早已開始尋求新的數(shù)據(jù)存儲(chǔ)和管理架構(gòu),并試著弱化數(shù)據(jù)管理系統(tǒng)在一致性和事務(wù)性方面的要求,向著系統(tǒng)可用性和可擴(kuò)展性方面努力,使之成功運(yùn)用到后端系統(tǒng)中。

2 云環(huán)境下數(shù)據(jù)存儲(chǔ)需求特點(diǎn)

隨著現(xiàn)代信息網(wǎng)絡(luò)技術(shù)發(fā)展,數(shù)據(jù)信息總量正呈指數(shù)級(jí)爆炸式增長,在如此大量數(shù)據(jù)產(chǎn)生的時(shí)代,用戶的數(shù)據(jù)存儲(chǔ)需求具有全新的特點(diǎn):

(1)對數(shù)據(jù)庫高并發(fā)讀寫的需求

隨著互聯(lián)網(wǎng)應(yīng)用的發(fā)展,Web 2.0應(yīng)用強(qiáng)調(diào)的是以用戶為主,需要根據(jù)用戶個(gè)性化信息來實(shí)時(shí)生成動(dòng)態(tài)頁面和提供動(dòng)態(tài)的信息,目前比較流行的微博就是如此。該類應(yīng)用對數(shù)據(jù)庫的并發(fā)訪問的負(fù)載就非常高,往往能達(dá)到每秒上萬次的讀寫請求,甚至更多。從已有的優(yōu)秀的數(shù)據(jù)庫產(chǎn)品看來,對于上萬次SQL查詢還能勉強(qiáng)應(yīng)付,但是應(yīng)付上萬次SQL寫數(shù)據(jù)請求時(shí),I/O成了瓶頸。

(2)對海量數(shù)據(jù)的高效率存儲(chǔ)和訪問的需求

以Facebook為例,它一個(gè)月就達(dá)到了2.5億條用戶動(dòng)態(tài),對于關(guān)系數(shù)據(jù)庫來說,在一張擁有2.5億條記錄的表里面進(jìn)行SQL查詢,效率是極其低下乃至無法忍受的。在未來大數(shù)據(jù)時(shí)代,海量數(shù)據(jù)的高效存儲(chǔ)和訪問是必須要解決的問題。

(3)對數(shù)據(jù)庫的高可擴(kuò)展性和高可用性的需求

在基于Web的架構(gòu)中,數(shù)據(jù)庫是最難進(jìn)行橫向擴(kuò)展的,當(dāng)一個(gè)Web應(yīng)用的用戶量和訪問量與日暴增時(shí),數(shù)據(jù)庫服務(wù)器卻沒辦法像Web Server那樣簡單地通過更多的硬件和服務(wù)節(jié)點(diǎn)來進(jìn)行性能擴(kuò)展與負(fù)載分擔(dān)。對于很多需要不間斷提供服務(wù)的網(wǎng)站來說,由于這樣的升級(jí)需要停機(jī)維護(hù)和數(shù)據(jù)遷移,將使用戶體驗(yàn)值急劇降低。

(4)支持非結(jié)構(gòu)化數(shù)據(jù)的處理能力的需求

傳統(tǒng)的關(guān)系型數(shù)據(jù)庫對數(shù)據(jù)的處理和數(shù)據(jù)類型有比較明確的限制,只針對某些數(shù)據(jù)類型,如整型數(shù)字、字符、字符串等,而對類似圖片、音視頻的非結(jié)構(gòu)化數(shù)據(jù)的支持不夠,無法滿足未來用戶對各種各樣類型數(shù)據(jù)的需求。

對于以上數(shù)據(jù)存儲(chǔ)應(yīng)用需求,傳統(tǒng)存儲(chǔ)應(yīng)用技術(shù)是無法勝任云計(jì)算環(huán)境下應(yīng)用需求的。云存儲(chǔ)技術(shù)的發(fā)展結(jié)合了各種存儲(chǔ)技術(shù)應(yīng)用的特點(diǎn),在容錯(cuò)、吞吐量、冗余、讀寫分布、數(shù)據(jù)劃分、負(fù)載均衡等特性方面進(jìn)行技術(shù)提升,并綜合多種存儲(chǔ)技術(shù)以適應(yīng)復(fù)雜的不同的數(shù)據(jù)存儲(chǔ)需求。

3 數(shù)據(jù)存儲(chǔ)技術(shù)在云計(jì)算環(huán)境中的應(yīng)用特性分析

現(xiàn)有的IT環(huán)境正逐步向云計(jì)算環(huán)境演進(jìn),在未來云時(shí)代,塊存儲(chǔ)、分布式存儲(chǔ)、對象存儲(chǔ)、表存儲(chǔ)等非結(jié)構(gòu)化和結(jié)構(gòu)化存儲(chǔ)技術(shù)有各自的應(yīng)用特點(diǎn),可區(qū)分不同應(yīng)用需求,實(shí)現(xiàn)云環(huán)境下存儲(chǔ)能力最優(yōu)化應(yīng)用。

3.1 塊存儲(chǔ)技術(shù)

塊存儲(chǔ)基于傳統(tǒng)的磁盤陣列實(shí)現(xiàn),主要為現(xiàn)有各種應(yīng)用提供通用的存儲(chǔ)能力,將存儲(chǔ)區(qū)域劃分成固定大小的小塊,使傳統(tǒng)裸存儲(chǔ)設(shè)備的存儲(chǔ)空間對外暴露,將大量磁盤設(shè)備通過SCSI/SAS或FC SAN與存儲(chǔ)服務(wù)器連接,服務(wù)器直接通過SCSI/SAS或FC協(xié)議控制和訪問數(shù)據(jù)。塊存儲(chǔ)方式由于不存在數(shù)據(jù)打包/解包過程,可提供更高的性能,數(shù)據(jù)訪問延遲低、帶寬較高,但可擴(kuò)展性差。因此可采用彈性塊存儲(chǔ)降低傳統(tǒng)磁盤盤陣的使用比例,以滿足快速分配和靈活擴(kuò)展的場景。

塊存儲(chǔ)本身可以通過多個(gè)設(shè)備堆疊出更大的空間,但受限于數(shù)據(jù)庫的能力,通常只能支持TB級(jí)數(shù)據(jù)庫應(yīng)用。主要為一些高性能、高I/O的企業(yè)關(guān)鍵業(yè)務(wù)系統(tǒng)(如企業(yè)內(nèi)部數(shù)據(jù)庫)提供存儲(chǔ),也可為虛擬機(jī)提供集中存儲(chǔ),包括鏡像和實(shí)例的存儲(chǔ)。

在云計(jì)算環(huán)境中,塊存儲(chǔ)的使用可根據(jù)數(shù)據(jù)的重要性、訪問頻率、保留時(shí)間、容量、性能等指標(biāo),進(jìn)行分級(jí)存儲(chǔ)管理。一般可進(jìn)行動(dòng)態(tài)、靜態(tài)存儲(chǔ)分級(jí),基于文件級(jí)和塊級(jí)分級(jí),基于主機(jī)和盤陣等類型分級(jí),將數(shù)據(jù)采取不同的存儲(chǔ)方式分別存儲(chǔ)在不同性能的存儲(chǔ)設(shè)備上,以實(shí)現(xiàn)數(shù)據(jù)客體在存儲(chǔ)設(shè)備之間的自動(dòng)遷移。同時(shí),為提高存儲(chǔ)利用率,還可以使用存儲(chǔ)瘦供給技術(shù),當(dāng)存儲(chǔ)真正開始使用時(shí)才開始實(shí)際分配物理空間,可達(dá)到減少每GB可用空間的成本的目的。

3.2 非結(jié)構(gòu)化存儲(chǔ)技術(shù)

在云計(jì)算環(huán)境下引入非結(jié)構(gòu)化云存儲(chǔ)技術(shù)可降低傳統(tǒng)盤陣/NAS的采購成本,滿足業(yè)務(wù)系統(tǒng)海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)處理需求。在互聯(lián)網(wǎng)類業(yè)務(wù)等具有海量冷數(shù)據(jù)存儲(chǔ)需求的業(yè)務(wù)中,可逐步采用基于X86架構(gòu)本地硬盤的分布式文件、對象、彈性塊等云存儲(chǔ)產(chǎn)品,代替NAS和傳統(tǒng)盤陣設(shè)備,并開展和推動(dòng)云存儲(chǔ)接口標(biāo)準(zhǔn)化和規(guī)范化,推動(dòng)上層業(yè)務(wù)軟件適應(yīng)底層新型云存儲(chǔ)系統(tǒng),最終在業(yè)務(wù)系統(tǒng)中大規(guī)模引入非結(jié)構(gòu)化云存儲(chǔ)技術(shù)。目前非結(jié)構(gòu)化存儲(chǔ)技術(shù)主要包括分布式文件存儲(chǔ)和對象存儲(chǔ)兩種。

(1)分布式文件存儲(chǔ)

分布式文件存儲(chǔ)提供文件存儲(chǔ)能力,把分布在局域網(wǎng)內(nèi)各個(gè)計(jì)算機(jī)上的共享文件夾集合成一個(gè)虛擬共享文件夾,將整個(gè)分布式文件資源以統(tǒng)一的視圖呈現(xiàn)給用戶,最終以標(biāo)準(zhǔn)文件系統(tǒng)接口形式,向應(yīng)用系統(tǒng)提供海量非結(jié)構(gòu)化數(shù)據(jù)存儲(chǔ)空間,支持隨機(jī)讀寫、復(fù)雜目錄結(jié)構(gòu)。

對于數(shù)據(jù)增長量快的文件存儲(chǔ)型業(yè)務(wù),分布式文件存儲(chǔ)提供NFS、CIFS、POSIX等文件訪問接口,但整體協(xié)議開銷較高、響應(yīng)延遲比塊存儲(chǔ)長,存儲(chǔ)能力和性能水平有待擴(kuò)展。分布式文件存儲(chǔ)適合TB~PB級(jí)文件存儲(chǔ),可支持文件頻繁修改和刪除,例如存儲(chǔ)圖片、文件、視頻、郵件附件、MMS內(nèi)容等,同時(shí)它在文件在線備份和文件共享具有較強(qiáng)優(yōu)勢,但上層業(yè)務(wù)需要考慮支持跨多個(gè)文件系統(tǒng)的系統(tǒng)結(jié)構(gòu)。

(2)對象存儲(chǔ)

對象存儲(chǔ)與分布式文件存儲(chǔ)都屬于非結(jié)構(gòu)化存儲(chǔ)類型,對象存儲(chǔ)操作簡單、無需頻繁修改,對于一次寫入、多次讀取的數(shù)據(jù),優(yōu)先考慮對象數(shù)據(jù)存儲(chǔ)系統(tǒng)。對象存儲(chǔ)為海量非結(jié)構(gòu)化數(shù)據(jù)提供Key-Value這種通過鍵-值查找數(shù)據(jù)文件的存儲(chǔ)模式,提供基于對象訪問的REST/SOAP接口,協(xié)議開銷較高,且響應(yīng)延遲較文件存儲(chǔ)長,應(yīng)用系統(tǒng)跟存儲(chǔ)系統(tǒng)的耦合程度松散。

在對象存儲(chǔ)中引入對象元數(shù)據(jù)描述對象特征,所存儲(chǔ)的對象是附帶各種屬性信息的文件,屬性包括圖片尺寸、拍攝時(shí)間等,一般采用“桶”作為對象的容器來劃分應(yīng)用和用戶。由于對象存儲(chǔ)系統(tǒng)同時(shí)管理用戶信息和實(shí)際數(shù)據(jù),上層業(yè)務(wù)設(shè)計(jì)時(shí)需考慮支持跨多個(gè)對象存儲(chǔ)的場景。對象存儲(chǔ)屬PB級(jí)文件在線存儲(chǔ),用于在線訪問的文件存儲(chǔ)(包括縮略圖、音樂視頻、大文件)。數(shù)據(jù)存儲(chǔ)后很少改動(dòng),對于文件索引所容納的條目數(shù)量不受限制。對象存儲(chǔ)是企業(yè)能夠以低成本的簡易方式實(shí)現(xiàn)對大規(guī)模數(shù)據(jù)存儲(chǔ)和訪問的方案。同時(shí),對象存儲(chǔ)使得“混合云”和“公有云”成為可能,也使以互聯(lián)網(wǎng)服務(wù)的方式進(jìn)行廣域歸檔或遠(yuǎn)程數(shù)據(jù)備份成為可能。

3.3 結(jié)構(gòu)化存儲(chǔ)技術(shù)

針對傳統(tǒng)數(shù)據(jù)庫對非一致性數(shù)據(jù)存儲(chǔ)及不能靈活擴(kuò)展等技術(shù)壁壘,在云存儲(chǔ)技術(shù)中用表存儲(chǔ)以管理結(jié)構(gòu)化數(shù)據(jù)或者半結(jié)構(gòu)化數(shù)據(jù),并通過設(shè)置鍵值對映射模型采用Hadoop框架等技術(shù),向應(yīng)用系統(tǒng)提供高可擴(kuò)展的表存儲(chǔ)空間,主要包括交易型(OLTP)數(shù)據(jù)庫和分析型(OLAP)數(shù)據(jù)庫。

交易型應(yīng)用每次更新或查找少量記錄,并發(fā)量大,響應(yīng)時(shí)間短,主要應(yīng)用在大規(guī)?;ヂ?lián)網(wǎng)社交網(wǎng)絡(luò)、博客、微博、在線詳單查詢等。在新型互聯(lián)網(wǎng)業(yè)務(wù)和詳單查詢業(yè)務(wù)中,針對交互性海量數(shù)據(jù)查詢需求,可引入NoSQL存儲(chǔ),提升系統(tǒng)可擴(kuò)展性和數(shù)據(jù)處理能力,消除系統(tǒng)瓶頸。

分析型應(yīng)用特點(diǎn)則是更新少,批量導(dǎo)入,每次針對大量數(shù)據(jù)進(jìn)行處理,并發(fā)量小。主要應(yīng)用在大規(guī)模日志存儲(chǔ)處理、信令系統(tǒng)XDR數(shù)據(jù)存儲(chǔ)和分析預(yù)處理、經(jīng)分系統(tǒng)ETL等場景。并且可引入逐步成熟的日志詳單類存儲(chǔ),系統(tǒng)的性能、穩(wěn)定性及安全性將得到全面提升,這可以作為數(shù)據(jù)倉庫的補(bǔ)充,承擔(dān)ETL、數(shù)據(jù)挖掘和非結(jié)構(gòu)化數(shù)據(jù)處理,緩解現(xiàn)有數(shù)據(jù)倉庫的壓力。

4 結(jié)束語

在云環(huán)境中積極探索和引入大數(shù)據(jù)處理和云存儲(chǔ)技術(shù),開展和推動(dòng)云存儲(chǔ)接口標(biāo)準(zhǔn)化和規(guī)范化,將有效推動(dòng)上層業(yè)務(wù)軟件適應(yīng)底層新型云存儲(chǔ)系統(tǒng)。在云存儲(chǔ)技術(shù)發(fā)展的另一方面,存儲(chǔ)網(wǎng)絡(luò)技術(shù)和存儲(chǔ)介質(zhì)技術(shù)的進(jìn)步也必將推動(dòng)云存儲(chǔ)的有效規(guī)模部署,共同推動(dòng)云時(shí)代的加速發(fā)展。

數(shù)據(jù)存儲(chǔ)技術(shù)論文:基于云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)

摘要:隨著Web2.0技術(shù)的發(fā)展,用戶對數(shù)據(jù)的計(jì)算和存儲(chǔ)需求激增,往往通過購置更多數(shù)量的服務(wù)器來增加計(jì)算和存儲(chǔ)能力。通過互聯(lián)網(wǎng)租用計(jì)算能力和存儲(chǔ)資源,就可以大大減少對自有硬件資源的依賴。因此,將云計(jì)算技術(shù)應(yīng)用到存儲(chǔ)領(lǐng)域可以大大提高資源的利用率。本文主要分析基于云計(jì)算的數(shù)據(jù)存儲(chǔ)技術(shù)。

關(guān)鍵詞:云計(jì)算,數(shù)據(jù)存儲(chǔ),技術(shù)

云計(jì)算是一種基于服務(wù)的架構(gòu)體系,有兩種基本服模式:云計(jì)算和云存儲(chǔ)。 基于云計(jì)算服務(wù)的應(yīng)用程序,無論是金融服務(wù)還是網(wǎng)絡(luò)角色扮演游戲,幾乎在所有情況下都需要高性能的云存儲(chǔ)來滿足數(shù)據(jù)處理的需求[1]。網(wǎng)絡(luò)時(shí)代是一個(gè)信息時(shí)代,隨著 Web2.0 技術(shù)的成熟,大量的信息以井噴的姿勢出現(xiàn)在互聯(lián)網(wǎng)上,如何應(yīng)對這種信息爆炸式的增長速度,如何對這些信息進(jìn)行有效存儲(chǔ)和管理,云存儲(chǔ)是否能夠應(yīng)對這種情況,如何才能保證云存儲(chǔ)的高性能,如何才能保證云存儲(chǔ)的靈活性,這些是本文探討的問題。

1、云計(jì)算與云存儲(chǔ)

1.1 云計(jì)算的概念

云計(jì)算(cloud computing)是分布式計(jì)算技術(shù)的一種,是分布式處理、并行處理和網(wǎng)格計(jì)算的發(fā)展。其最基本的概念是通過網(wǎng)絡(luò)將龐大的計(jì)算處理程序自動(dòng)拆分成無數(shù)個(gè)較小的子程序,再交給由多部服務(wù)器組成的運(yùn)算系統(tǒng),經(jīng)過計(jì)算分析之后將處理結(jié)果回傳給用戶。

1.2 云存儲(chǔ)的概念

云存儲(chǔ)是在云計(jì)算概念基礎(chǔ)上延伸和發(fā)展出來的一個(gè)新概念。與云計(jì)算類似,它是通過集群應(yīng)用、網(wǎng)格技術(shù)或分布式文件系統(tǒng)等功能,將網(wǎng)絡(luò)中不同類型的存儲(chǔ)設(shè)備通過應(yīng)用軟件集合起來協(xié)同工作,共同對外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問功能的一個(gè)系統(tǒng)。云存儲(chǔ)是對現(xiàn)有存儲(chǔ)方式的一種變革,是一種特殊形式的架構(gòu)服務(wù)。如同云狀的廣域網(wǎng)和互聯(lián)網(wǎng)一樣,云存儲(chǔ)對使用者來講是透明的,不是指某一個(gè)具體的設(shè)備,而是指分布在不同物理地域的多臺(tái)存儲(chǔ)設(shè)備所構(gòu)成的集合體。云存儲(chǔ)的核心是應(yīng)用程序軟件與存儲(chǔ)設(shè)備相結(jié)合,通過應(yīng)用軟件來實(shí)現(xiàn)存儲(chǔ)設(shè)備向存儲(chǔ)服務(wù)的轉(zhuǎn)變。

2、云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)模型

與傳統(tǒng)的存儲(chǔ)設(shè)備相比,云存儲(chǔ)不僅僅是一個(gè)硬件,而是一個(gè)由網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、應(yīng)用軟件、公用訪問接口、接入網(wǎng)和客戶端程序等多個(gè)部分組成的復(fù)雜系統(tǒng)。它以存儲(chǔ)設(shè)備為核心,通過應(yīng)用軟件對外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)訪問服務(wù)。自下而上分別為存儲(chǔ)層、基礎(chǔ)管理層、應(yīng)用接口層和訪問層。

2.1 存儲(chǔ)層

存儲(chǔ)層是云存儲(chǔ)的基礎(chǔ)部分。各個(gè)存儲(chǔ)設(shè)備通過網(wǎng)絡(luò)設(shè)備連接在一起,存儲(chǔ)設(shè)備可以是FC光纖通道存儲(chǔ)設(shè)備,也可以是NAS和iSCSI等IP存儲(chǔ)設(shè)備。在存儲(chǔ)設(shè)備層之上是一個(gè)統(tǒng)一的存儲(chǔ)設(shè)備管理系統(tǒng),可以實(shí)現(xiàn)存儲(chǔ)設(shè)備的邏輯虛擬化管理、多鏈路冗余管理以及硬件設(shè)備的狀態(tài)監(jiān)控和故障維護(hù)[2]。

2.2 基礎(chǔ)管理層

基礎(chǔ)管理層是云存儲(chǔ)的核心部分,也是云存儲(chǔ)中最難實(shí)現(xiàn)的部分?;A(chǔ)管理層通過集群、分布式文件系統(tǒng)和網(wǎng)格計(jì)算等技術(shù),實(shí)現(xiàn)云存儲(chǔ)系統(tǒng)中多個(gè)存儲(chǔ)設(shè)備之間的協(xié)同工作,使多個(gè)存儲(chǔ)設(shè)備可以對外提供強(qiáng)大的數(shù)據(jù)訪問功能。使用CDN(Content Delivery Network)進(jìn)行內(nèi)容分發(fā),數(shù)據(jù)加密技術(shù)保證云存儲(chǔ)中的數(shù)據(jù)不會(huì)被未授權(quán)的用戶所訪問。同時(shí),通過各種數(shù)據(jù)備份和容災(zāi)技術(shù)可以避免云存儲(chǔ)中的數(shù)據(jù)不會(huì)丟失,保證云存儲(chǔ)系統(tǒng)自身的安全和穩(wěn)定。

2.3 應(yīng)用接口層

云存儲(chǔ)運(yùn)營單位可以根據(jù)實(shí)際業(yè)務(wù)類型開發(fā)不同的應(yīng)用服務(wù)接口并提供不同的應(yīng)用服務(wù)。比如視頻監(jiān)控應(yīng)用平臺(tái)、IPTV和視頻點(diǎn)播應(yīng)用平臺(tái)及遠(yuǎn)程數(shù)據(jù)備份應(yīng)用平臺(tái)等。

2.4 訪問層

任何一個(gè)授權(quán)用戶都可以通過公用應(yīng)用接口登錄云存儲(chǔ)系統(tǒng),享受云存儲(chǔ)服務(wù)。不同的云存儲(chǔ)運(yùn)營單位提供的訪問類型和訪問手段也不盡相同。

云計(jì)算是一種新型的計(jì)算模式。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集,向用戶提供服務(wù)。為保證高可用、高可靠和經(jīng)濟(jì)性,云計(jì)算采用分布式存儲(chǔ)的方式來存儲(chǔ)數(shù)據(jù),采用冗余存儲(chǔ)的方式來保證存儲(chǔ)數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。

三、云存儲(chǔ)未來發(fā)展趨勢

云存儲(chǔ)已經(jīng)成為未來存儲(chǔ)發(fā)展的一種趨勢,目前,云存儲(chǔ)廠商正在將各類搜索、應(yīng)用技術(shù)和云存儲(chǔ)相結(jié)合,以便能夠向企業(yè)提供一系列的數(shù)據(jù)服務(wù)。但是,未來云存儲(chǔ)的發(fā)展趨勢,主要還是要從安全性、便攜性及數(shù)據(jù)訪問等角度進(jìn)行發(fā)展。

四、結(jié)束語

云計(jì)算是一種新型的計(jì)算模式。它的最主要特征是系統(tǒng)擁有大規(guī)模數(shù)據(jù)集、基于該數(shù)據(jù)集,向用戶提供服務(wù)。為保證高可用、高可靠和經(jīng)濟(jì)性,云計(jì)算采用分布式存儲(chǔ)的方式來存儲(chǔ)數(shù)據(jù),采用冗余存儲(chǔ)的方式來保證存儲(chǔ)數(shù)據(jù)的可靠性,即為同一份數(shù)據(jù)存儲(chǔ)多個(gè)副本。另外,云計(jì)算系統(tǒng)需要同時(shí)滿足大量用戶的需求,并行地為大量用戶提供服務(wù)。未來云存儲(chǔ)的發(fā)展還是要從安全性、便攜性及數(shù)據(jù)訪問等角度進(jìn)行深入發(fā)展。