時(shí)間：2023-08-03 16:10:11
序論：在您撰寫云計(jì)算的基礎(chǔ)架構(gòu)時(shí)，參考他人的優(yōu)秀作品可以開闊視野，小編為您整理的7篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導(dǎo)您走向新的創(chuàng)作高度。
關(guān)鍵詞：云計(jì)算 基礎(chǔ)構(gòu)架 結(jié)構(gòu) 層次
中圖分類號(hào)：TP393.08 文獻(xiàn)標(biāo)識(shí)碼：A 文章編號(hào)：1007-9416（2013）06-0241-02
云計(jì)算技術(shù)被認(rèn)為是繼個(gè)人電腦 、互聯(lián)網(wǎng)之后的“第三次互聯(lián)網(wǎng)革命”，誕生伊始就得到廣泛關(guān)注和重視。下面我們從云計(jì)算的概念、類型和基礎(chǔ)架構(gòu)三個(gè)方面來(lái)進(jìn)行探討。
1 云計(jì)算的概念
云計(jì)算是利用本地或遠(yuǎn)程服務(wù)器（集群）的分布式計(jì)算機(jī)為互聯(lián)網(wǎng)用戶提供服務(wù)（包括計(jì)算、存儲(chǔ)、軟硬件等服務(wù)），它是對(duì)分布式處理、并行處理和網(wǎng)格計(jì)算及分布式數(shù)據(jù)庫(kù)的改進(jìn)處理、融合和發(fā)展。
通俗的講，云計(jì)算是一種全新的網(wǎng)絡(luò)服務(wù)方式，將傳統(tǒng)的以桌面為核心的任務(wù)處理轉(zhuǎn)變?yōu)橐跃W(wǎng)絡(luò)為核心的任務(wù)處理，利用互聯(lián)網(wǎng)實(shí)現(xiàn)自己想要完成的一切任務(wù)處理，使網(wǎng)絡(luò)成為傳遞服務(wù)、計(jì)算力和信息的綜合媒介，真正實(shí)現(xiàn)按需計(jì)算，多人協(xié)作。通過云計(jì)算的大規(guī)模應(yīng)用，未來(lái)計(jì)算資源或許像電和水那樣可隨時(shí)獲取，并按使用量進(jìn)行計(jì)費(fèi)。
2 云計(jì)算的類型
從部署方式來(lái)說，云計(jì)算可以分為私有云、公有云和混合云。公有云是互聯(lián)網(wǎng)上所有用戶都可以使用。私有云則是一種專有的云環(huán)境，是針對(duì)一個(gè)組織單獨(dú)構(gòu)建的互聯(lián)網(wǎng)服務(wù)，該組織擁有基礎(chǔ)設(shè)施，可以在此基礎(chǔ)設(shè)施上部署應(yīng)用程序，并對(duì)數(shù)據(jù)、安全性和服務(wù)質(zhì)量提供有效控制?；旌显?，也可稱為虛擬私有云，它提供的服務(wù)運(yùn)行在一個(gè)公共的云基礎(chǔ)設(shè)施之上，但通過虛擬專用網(wǎng)（VPN）限制對(duì)它的訪問。
IaaS，指的是將硬件設(shè)備等基礎(chǔ)資源封裝成服務(wù)供用戶使用，在此環(huán)境中，硬件及網(wǎng)絡(luò)資源可以被劃分成一個(gè)個(gè)的邏輯計(jì)算單元，IaaS管理工具可以保證多個(gè)邏輯單元協(xié)同工作起來(lái)。
PaaS，是對(duì)資源的抽象層次更進(jìn)一層，它提供用戶應(yīng)用程序的運(yùn)行環(huán)境。
SaaS，是將某些特定應(yīng)用軟件功能封裝成服務(wù)。
3 云計(jì)算的基礎(chǔ)架構(gòu)
云計(jì)算充分利用網(wǎng)絡(luò)和計(jì)算機(jī)技術(shù)實(shí)現(xiàn)資源的共享和服務(wù)，解決云進(jìn)化、云控制、云推理和軟計(jì)算等復(fù)雜問題，其基礎(chǔ)構(gòu)架可以用云計(jì)算體系結(jié)構(gòu)、服務(wù)層次則和技術(shù)層次來(lái)描述。
3.1 云計(jì)算體系結(jié)構(gòu)
云計(jì)算平臺(tái)是一個(gè)強(qiáng)大的“云”網(wǎng)絡(luò)，連接了大量并發(fā)的網(wǎng)絡(luò)計(jì)算和服務(wù)，可利用虛擬化技術(shù)擴(kuò)展每一個(gè)服務(wù)器的能力，將各自的資源通過云計(jì)算平臺(tái)結(jié)合起來(lái)，提供超級(jí)計(jì)算和儲(chǔ)存能力。云計(jì)算體系結(jié)構(gòu)如圖：（見圖1）
云用戶端：提供云用戶請(qǐng)求服務(wù)的交互界面，也是用戶使用云的入口，用戶通過WEB瀏覽器可以注冊(cè)、登錄及定制服務(wù)、配置和管理用戶。
服務(wù)目錄：云用戶在取得相應(yīng)權(quán)限（付費(fèi)或其他限制）后可以選擇或定制的服務(wù)列表，也可以對(duì)已有服務(wù)進(jìn)行退訂的操作，在云用戶端界面生成相應(yīng)的圖標(biāo)或列表的形式展示相關(guān)的服務(wù)。
管理系統(tǒng)和部署工具：提供管理和服務(wù)，能管理云用戶，能對(duì)用戶授權(quán)、認(rèn)證、登錄進(jìn)行管理，并可以管理可用計(jì)算機(jī)資源和服務(wù)，接收用戶發(fā)送的請(qǐng)求，根據(jù)用戶請(qǐng)求并轉(zhuǎn)發(fā)到相應(yīng)的應(yīng)用程序，調(diào)度資源智能地部署資源和應(yīng)用，動(dòng)態(tài)的部署、配置和回收資源。
資源監(jiān)控：監(jiān)控和計(jì)量云系統(tǒng)資源的使用情況，以便做出迅速反應(yīng)，完成節(jié)點(diǎn)同步配置、負(fù)載均衡配置和資源監(jiān)控，確保資源能順利分配給合適用戶。
服務(wù)器集群：虛擬的或物理的服務(wù)器，由管理系統(tǒng)管理，負(fù)責(zé)高并量的用戶請(qǐng)求處理、大計(jì)算量處理、用戶WEB應(yīng)用服務(wù)，云數(shù)據(jù)存儲(chǔ)時(shí)采用相應(yīng)數(shù)據(jù)切割算法，采用并行方式上傳和下載大容量數(shù)據(jù)。
用戶可通過云用戶端從列表中選擇所需的服務(wù)，其請(qǐng)求通過管理系統(tǒng)調(diào)度相應(yīng)的資源，并通過部署工具分發(fā)請(qǐng)求、配置WE應(yīng)用。
3.2 云計(jì)算服務(wù)層次
云計(jì)算的服務(wù)層次是根據(jù)服務(wù)類型即服務(wù)集合來(lái)劃分，體系結(jié)構(gòu)中的層次是可以分割的，即某一層次可以單獨(dú)完成一項(xiàng)用戶的請(qǐng)求而不需要其他層次為其提供必要的服務(wù)和支持。
3.3 云計(jì)算技術(shù)層次
服務(wù)接口：統(tǒng)一規(guī)定了在云計(jì)算時(shí)代使用計(jì)算機(jī)的各種規(guī)范、云計(jì)算服務(wù)的各種標(biāo)準(zhǔn)等，用戶端與云端交互操作入口，可以完成用戶或服務(wù)注冊(cè)，對(duì)服務(wù)的定制和使用。
服務(wù)管理中間件：在云計(jì)算技術(shù)中，中間件位于服務(wù)和服務(wù)器集群之間，提供管理和服務(wù)即云計(jì)算體系結(jié)構(gòu)中的管理系統(tǒng)。對(duì)標(biāo)識(shí)、認(rèn)證、授權(quán)、目錄、安全性等服務(wù)進(jìn)行標(biāo)準(zhǔn)化和操作，為應(yīng)用提供統(tǒng)一的標(biāo)準(zhǔn)化程序接口和協(xié)議，隱藏底層硬件、操作系統(tǒng)和網(wǎng)絡(luò)的異構(gòu)性，統(tǒng)一管理網(wǎng)絡(luò)資源。
虛擬化資源：指一些可以實(shí)現(xiàn)一定操作，具有一定功能，但其本身是虛擬而不是真實(shí)的資源，如計(jì)算池、存儲(chǔ)池和網(wǎng)絡(luò)池、數(shù)據(jù)庫(kù)資源等，通過軟件技術(shù)來(lái)實(shí)現(xiàn)相關(guān)的虛擬化功能，包括虛擬環(huán)境、虛擬系統(tǒng)、虛擬平臺(tái)。
物理資源：主要指能支持計(jì)算機(jī)正常運(yùn)行的一些硬件設(shè)備及技術(shù)，可以通過現(xiàn)有網(wǎng)絡(luò)技術(shù)和并行技術(shù)、分布式技術(shù)將分散的計(jì)算機(jī)組成一個(gè)能提供超強(qiáng)功能的集群用于計(jì)算和存儲(chǔ)等云計(jì)算操作。
4 結(jié)語(yǔ)
云計(jì)算作為下一代IT的發(fā)展趨勢(shì)，在我國(guó)得到了充分的推動(dòng)和蓬勃的發(fā)展，但我們必須看到，由于國(guó)內(nèi)在云計(jì)算領(lǐng)域?qū)诵募夹g(shù)的掌握不足，目前國(guó)內(nèi)所建設(shè)的云計(jì)算中心，更多的投入是在硬件建設(shè)的部分，缺乏在基礎(chǔ)軟件設(shè)施層面對(duì)云計(jì)算模式的支持。同時(shí)信息系統(tǒng)和網(wǎng)絡(luò)設(shè)備使用的關(guān)鍵芯片、核心軟件和部件絕大部分依賴進(jìn)口，存在著安全隱患?？傊?，雖然云計(jì)算的發(fā)展還存在著諸多的問題，但作為一種新型的互聯(lián)網(wǎng)服務(wù)和計(jì)算模型。它展示了越來(lái)越強(qiáng)大的生命力，涉及了各行各業(yè)方方面面的人們，并將最終徹底影響和改變改我們的生活。
參考文獻(xiàn)
關(guān)鍵詞：政府 云計(jì)算 虛擬化 架構(gòu)
自2007年云計(jì)算概念提出以來(lái)，云計(jì)算產(chǎn)業(yè)鏈在中國(guó)發(fā)展至今已初具規(guī)模，特別是企業(yè)私有云市場(chǎng)，雖然還沒有出現(xiàn)一個(gè)在云計(jì)算市場(chǎng)擁有絕對(duì)優(yōu)勢(shì)的拳頭產(chǎn)品，但百家爭(zhēng)鳴，百花齊放的局面正預(yù)示著云計(jì)算的建設(shè)正脅潮涌之勢(shì)而來(lái)。在繼一些大型IT企業(yè)之后，越來(lái)越多的政府開始走向云，并且有更多的應(yīng)用在向云靠攏。截止到2012年，已經(jīng)有北京、上海、成都、杭州、青島和西安等城市在政府應(yīng)用云平臺(tái)方面進(jìn)行了積極的探索，總結(jié)出了一些成功的經(jīng)驗(yàn)。在大家熱烈討論云計(jì)算技術(shù)能帶來(lái)什么豐碩成果的同時(shí)，就政府云計(jì)算基礎(chǔ)架構(gòu)的建設(shè)方式在業(yè)界也未形成一個(gè)相對(duì)一致的說法。但眾所周知，一個(gè)高效穩(wěn)定的基礎(chǔ)架構(gòu)平臺(tái)對(duì)于其上的應(yīng)用和業(yè)務(wù)運(yùn)營(yíng)是至關(guān)重要的，而搭建這樣一個(gè)基礎(chǔ)架構(gòu)的成本也是必須考慮在內(nèi)的。
首先我們先來(lái)談?wù)勈褂米钇毡榈膞86架構(gòu)，廉價(jià)、開放、標(biāo)準(zhǔn)化、簡(jiǎn)單易用，x86所具備的這些優(yōu)點(diǎn)使其成為了眾多云計(jì)算用戶的最佳構(gòu)架選擇。目前，決大多數(shù)的大規(guī)模云的構(gòu)建也都是基于x86架構(gòu)的，例如亞馬遜、微軟、Google、百度、阿里巴巴等。但是，使用最多就是最好的嗎？也不盡然，x86在人才資源、總體成本上是有優(yōu)勢(shì)，但一旦大規(guī)模部署后，由于單臺(tái)服務(wù)器的性能問題，只能依靠大規(guī)模來(lái)實(shí)現(xiàn)計(jì)算能力和存儲(chǔ)擴(kuò)展，這樣相應(yīng)的就會(huì)帶來(lái)一些管理和穩(wěn)定性方面的問題。由于x86架構(gòu)服務(wù)器系統(tǒng)的穩(wěn)定性不如小型機(jī)系統(tǒng)，因此還需要有完善的備份和容錯(cuò)方案。這些都是x86在云計(jì)算架構(gòu)中不可避免的問題，而這些問題的解決方式只能依靠第三方來(lái)進(jìn)行。作為x86架構(gòu)的忠實(shí)擁躉，VMware或許是能解決這些問題的最好方式。畢竟在x86平臺(tái)虛擬化市場(chǎng)上，VMware的占有率超過了85%，而作為VMware虛擬化和云計(jì)算的核心系統(tǒng)平臺(tái)，vSphere已經(jīng)成為虛擬化平臺(tái)的一個(gè)事實(shí)上的標(biāo)準(zhǔn)。2012年7月13日，VMware正式云基礎(chǔ)架構(gòu)套件，這標(biāo)志著VMware從虛擬化向云計(jì)算的全面轉(zhuǎn)型，其中的VMware vShield安全解決方案對(duì)云計(jì)算環(huán)境提供了全面的保護(hù)方案，但能否實(shí)現(xiàn)預(yù)期的效果，還有待市場(chǎng)的檢驗(yàn)?？傊?，x86平臺(tái)對(duì)于缺少更多技術(shù)支持的部門而言是不錯(cuò)的選擇，首先平臺(tái)搭建相對(duì)快捷簡(jiǎn)單、易于維護(hù)，其次又可以保持構(gòu)架的靈活性和可擴(kuò)展性。
相對(duì)分布式的x86架構(gòu)而言，以IBM的Power架構(gòu)為首的集中式構(gòu)架方式在關(guān)鍵性核心業(yè)務(wù)上有著更大的可靠性及穩(wěn)定性優(yōu)勢(shì)。很多人認(rèn)為，政府部門沒有那么多像很多大型企業(yè)那樣的對(duì)計(jì)算性能和技術(shù)支持要求較高的業(yè)務(wù)，Power架構(gòu)的優(yōu)勢(shì)有時(shí)候得不到體現(xiàn)。其實(shí)不然，隨著政務(wù)信息化的推進(jìn)，這幾年很多大規(guī)模的政府部門應(yīng)用系統(tǒng)陸續(xù)上線，這些業(yè)務(wù)應(yīng)用系統(tǒng)涉及的人員范圍、地域范圍都很大，影響面也很廣，而且業(yè)務(wù)也相對(duì)單一，對(duì)于這類重點(diǎn)業(yè)務(wù)，Power架構(gòu)將是不錯(cuò)的選擇，它能更好的滿足業(yè)務(wù)的RAS（可靠性、可用性、穩(wěn)定性）要求。Power架構(gòu)所提供的虛擬化環(huán)境所使用的是IBM自己的PowerVM虛擬化軟件，這在系統(tǒng)穩(wěn)定性方面就有先天的優(yōu)勢(shì)，其先進(jìn)的自動(dòng)化管理功能，可以使資源池達(dá)到良好的利用，最終形成自適應(yīng)、自服務(wù)的云計(jì)算基礎(chǔ)架構(gòu)。除了這些關(guān)鍵性業(yè)務(wù)，對(duì)數(shù)據(jù)庫(kù)領(lǐng)域而言Power架構(gòu)也具有更大的I/O吞吐量和穩(wěn)定優(yōu)勢(shì)，尤其是基于關(guān)系型數(shù)據(jù)庫(kù)的關(guān)鍵應(yīng)用。如果我們?cè)趚86架構(gòu)的橫向擴(kuò)展出現(xiàn)瓶頸時(shí)，再考慮向Power上進(jìn)行遷移，遷移所付出代價(jià)恐怕不止是新建一套Power虛擬機(jī)那么簡(jiǎn)單了。當(dāng)然，Power架構(gòu)對(duì)云計(jì)算人才的要求是很高的，但是相對(duì)于那種大規(guī)模的x86云平臺(tái)，維護(hù)它所需要的人力資源卻少很多。就好比用一個(gè)在AIx系統(tǒng)及虛擬化方面技術(shù)很強(qiáng)的人維護(hù)1臺(tái)Power計(jì)算機(jī)和用10個(gè)技術(shù)一般的人維護(hù)10臺(tái)x86服務(wù)器一樣，到底那種方式更節(jié)約成本，更能很好的實(shí)現(xiàn)管理就只能靠自己判斷了。
我們都知道，云計(jì)算的最終目的是整合IT資源及應(yīng)用，使其發(fā)揮更大的效能。在政府部門也一樣，龐大的IT資源不僅耗資耗能巨大，對(duì)其很好的管理也是一個(gè)麻煩的問題。就筆者所在的單位而言，光服務(wù)器設(shè)備就有80多臺(tái)，加上為之服務(wù)的網(wǎng)絡(luò)及存儲(chǔ)設(shè)備就足足填滿了一個(gè)200平方的機(jī)房。 在進(jìn)行虛擬化改造建設(shè)之前，我們就單位信息化應(yīng)用的現(xiàn)狀分析，發(fā)現(xiàn)服務(wù)器架構(gòu)存著機(jī)器部分老化，故障率偏高；系統(tǒng)可用性、兼容性差；系統(tǒng)結(jié)構(gòu)復(fù)雜；運(yùn)行成本高；電力資源緊張；維護(hù)工作量大等等問題。
為了解決以上問題，我們決定使用虛擬化技術(shù)打造單位的云平臺(tái)?？紤]到單位這種已經(jīng)存在大量業(yè)務(wù)應(yīng)用的情況，我們?cè)诮ㄔO(shè)云計(jì)算平臺(tái)過程中采取了循序漸進(jìn)，避開關(guān)鍵業(yè)務(wù)，在不斷探索過程中逐步推進(jìn)的方式。根據(jù)如今政府的情況，一般都是自購(gòu)服務(wù)器、各自有自己的信息中心負(fù)責(zé)運(yùn)維。很多部門為了保證業(yè)務(wù)的正常運(yùn)行，都花費(fèi)很大的資金在容災(zāi)備份之上，這當(dāng)中存在著諸多的浪費(fèi)，很多高端的服務(wù)器及存儲(chǔ)設(shè)備其實(shí)只用到了很少一部分的硬件系統(tǒng)資源，為了提高服務(wù)器的利用率，利用這部分高端硬件搭建云計(jì)算環(huán)境是對(duì)資源充分利用的一個(gè)好辦法。比如我們先可以利用原有的IT資源，搭建相對(duì)簡(jiǎn)單的x86的云架構(gòu)，在這個(gè)過程中會(huì)遇到一些無(wú)法繞過的問題，比如數(shù)據(jù)遷移、數(shù)據(jù)的隔離和控制等等，通過一些具體實(shí)踐，我們可以同時(shí)積累部分云計(jì)算的人才和經(jīng)驗(yàn)，為今后全面推行云計(jì)算打下基礎(chǔ)。在關(guān)鍵性業(yè)務(wù)上， 我們可以直接部署IBM Power架構(gòu)，其實(shí)Power并不像很多人想象的那么高深，IBM為了幫助用戶快速構(gòu)架基于Power的云平臺(tái)，推出了從應(yīng)用出發(fā)的解決方案以提升用戶在應(yīng)用部署、日常維護(hù)方面的易操作性。不過，不能否認(rèn)的是，相比x86，Power平臺(tái)在后期維護(hù)、管理上還是要更難一些，需要更加專業(yè)的管理人員。我們的數(shù)據(jù)庫(kù)系統(tǒng)就是利用兩臺(tái)IBM小機(jī)進(jìn)行Power架構(gòu)的部署，實(shí)施期間，AIX系統(tǒng)及Power虛擬化軟件確實(shí)讓人頭疼不已，但一旦部署成功，其I/O大吞吐量，高穩(wěn)定性的特點(diǎn)也確實(shí)為用戶帶來(lái)了全新的體驗(yàn)。
對(duì)于云計(jì)算基礎(chǔ)架構(gòu)，套用一句老話：沒有最好，只有最合適。這點(diǎn)在政府機(jī)構(gòu)也同樣適用。不管是x86還是Power架構(gòu)，其實(shí)通用才是云平臺(tái)最核心的要求，只有滿足了能夠?qū)④浖渴鹪诓煌挠布拖到y(tǒng)上的要求，這才是真正意義上的云計(jì)算平臺(tái)。
參考文獻(xiàn)：
（中國(guó)民用航空華東地區(qū)空中交通管理局 上海 200335）
摘 要 鑒于傳統(tǒng)構(gòu)架的協(xié)同決策（CDM）系統(tǒng)不能適應(yīng)民航事業(yè)快速發(fā)展，提出建立基于云計(jì)算平臺(tái)的CDM系統(tǒng)。
首先概述了云計(jì)算的基本概念和主要特征，并總結(jié)了云計(jì)算的關(guān)鍵技術(shù)和基本架構(gòu)。之后，研究了對(duì)云計(jì)算拓?fù)湓O(shè)計(jì)算法，在樹形拓?fù)浣Y(jié)構(gòu)的基礎(chǔ)上對(duì)三種算法進(jìn)行了比較和選擇，確定方案為merge-MST。最后，完成云計(jì)算平臺(tái)的初步總體設(shè)計(jì)，并搭建仿真測(cè)試平臺(tái)，測(cè)試結(jié)果證明所設(shè)計(jì)的云計(jì)算CDM系統(tǒng)具有較好的性能。
關(guān)鍵詞 民航，協(xié)同決策系統(tǒng)，云計(jì)算
中圖分類號(hào)：TP392 文獻(xiàn)標(biāo)識(shí)碼：A
doi:10.3969/j.issn.1674-7933.2015.04.004
*基金項(xiàng)目：上海市2013 年“ 科技創(chuàng)新行動(dòng)計(jì)劃”信息技術(shù)領(lǐng)域項(xiàng)目（13511504700） 。
作者簡(jiǎn)介：葉云斐，1984 年生，本科，助理工程師，主要從事及研究領(lǐng)域：航空計(jì)算機(jī)信息管理，Email ：leaves616@126.com ；
陳曉建，研究生，高級(jí)工程師；
陳偉青，本科，工程師；
谷葉，研究生，助理工程師。
0 引言
近年來(lái)我國(guó)民航事業(yè)快速發(fā)展，航班延誤現(xiàn)象愈發(fā)嚴(yán)重。中國(guó)民用航空局的《2013年民航行業(yè)發(fā)展統(tǒng)計(jì)公報(bào)》顯示： 2013年不正常航班占比27.66%，旅客投訴率較2012年增長(zhǎng)13.66%。華東區(qū)域經(jīng)濟(jì)發(fā)展迅速，人口密度大，以全國(guó)1/9的空域面積承載著1/3的航班流量，問題尤為顯著。以發(fā)展的眼光看問題，有必要依靠各方可靠、全面、實(shí)時(shí)的信息，采用高效合理的航班排序、放飛算法，充分利用空域時(shí)隙資源，協(xié)同決策（CDM）的概念應(yīng)運(yùn)而生。
民航華東空管局CDM系統(tǒng)于2012年12月上線運(yùn)行，系統(tǒng)基礎(chǔ)數(shù)據(jù)多，計(jì)算量大，對(duì)軟硬件資源要求高。以上海虹橋、浦東兩個(gè)機(jī)場(chǎng)為例，每天就有5 000多架航班起落，涉及空域航路點(diǎn)300~400個(gè)，各航路點(diǎn)又分3~4個(gè)高度層；在此基礎(chǔ)上，CDM系統(tǒng)必須結(jié)合實(shí)時(shí)的流量控制、氣象預(yù)報(bào)等信息反復(fù)計(jì)算調(diào)整，且任何時(shí)刻的航班重新規(guī)劃都會(huì)影響到一整條航路上與之相關(guān)的所有航班，使計(jì)算量成倍增加。隨著航空流量的逐年增加，CDM系統(tǒng)計(jì)算量也以指數(shù)方式快速增長(zhǎng)。
現(xiàn)有系統(tǒng)采用傳統(tǒng)架構(gòu)設(shè)計(jì)，不能滿足前瞻性設(shè)計(jì)要求。理想的CDM系統(tǒng)架構(gòu)應(yīng)具有虛擬化、易擴(kuò)展、按需部署、高靈活性、高可靠性、高性價(jià)比的特點(diǎn)。本文提出一種基于云計(jì)算的CDM系統(tǒng)構(gòu)架，利用自動(dòng)拓?fù)湓O(shè)計(jì)算法（merge-MST）設(shè)計(jì)網(wǎng)絡(luò)拓?fù)洌捎肏adoop開源管理軟件實(shí)現(xiàn)任務(wù)調(diào)度，最后通過仿真手段驗(yàn)證了該方案的可行性和適用性。
1 現(xiàn)有民航CDM系統(tǒng)的不足
協(xié)同決策是一種技術(shù)手段，更是一種基于資源共性和信息交互的多主體（空管、機(jī)場(chǎng)、航空公司等）聯(lián)合協(xié)作運(yùn)行模式。華東空管局CDM系統(tǒng)從各個(gè)參與單位引接實(shí)時(shí)航班數(shù)據(jù)，建立塔臺(tái)電子進(jìn)程單系統(tǒng)、A-CDM系統(tǒng)、飛行計(jì)劃處理系統(tǒng)等，并形成三大客戶端——流量管理客戶端、塔臺(tái)客戶端和公司機(jī)場(chǎng)客戶端，系統(tǒng)構(gòu)成如圖1所示。
`該系統(tǒng)基于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，以塔臺(tái)電子進(jìn)程單為例，架構(gòu)示意圖如圖2所示。盡管其成熟度高、可靠性好，但隨著數(shù)據(jù)量逐漸增大，數(shù)據(jù)范圍逐漸拓寬，其存儲(chǔ)和查詢效率已不能滿足需求。
2 云計(jì)算平臺(tái)及其架構(gòu)設(shè)計(jì)
2.1 定義和特點(diǎn)
云計(jì)算是一種新的計(jì)算模式，由分布式計(jì)算、并行計(jì)算和網(wǎng)格計(jì)算的發(fā)展而來(lái)。其后臺(tái)大量采用虛擬機(jī)，并通過互聯(lián)網(wǎng)形成資源池。這些虛擬資源可以根據(jù)不同的負(fù)載動(dòng)態(tài)重新配置，快速并以最小的管理代價(jià)提供服務(wù)[1]。從用戶角度看，云計(jì)算具有可靠的存儲(chǔ)技術(shù)和嚴(yán)格的權(quán)限策略，可為客戶提供安全可靠的數(shù)據(jù)存儲(chǔ)中心；對(duì)用戶端的設(shè)備要求低，支持手機(jī)、平板電腦等無(wú)線通信設(shè)備；可實(shí)現(xiàn)不同設(shè)備間的數(shù)據(jù)、應(yīng)用共享。
從硬件的角度看，云計(jì)算高度靈活，可按需投入或釋放硬件資源，從而提高整體利用率。2.2 類型
云計(jì)算按其服務(wù)層次分為三類[2]，如圖3所示：
1)基礎(chǔ)設(shè)施即服務(wù)（IaaS，infrastructure as a service）
在虛擬化技術(shù)的支持下，利用廉價(jià)計(jì)算機(jī)實(shí)現(xiàn)大規(guī)模集群運(yùn)算能力，同時(shí)按需配置，為用戶提供個(gè)性化的基礎(chǔ)設(shè)施服務(wù)。此類型的典型代表有亞馬遜云計(jì)算AWS（Amazon Web Services）、IBM藍(lán)云等。
2) 平臺(tái)即服務(wù)（PaaS，platform as a service）
提供的服務(wù)是開發(fā)環(huán)境，允許用戶使用中間商提供的設(shè)備開發(fā)自己的程序。此類型的典型代表有GoogleApp Engine（GAE）等。
3) 軟件即服務(wù)（SaaS，software as a service）
通過Internet直接提供運(yùn)行在云計(jì)算設(shè)備上的應(yīng)用程序。用戶無(wú)需考慮基礎(chǔ)設(shè)施及軟件授權(quán)等內(nèi)容。此類型的典型代表有Salesforce公司的CRM服務(wù)、ZohoOffi ce、Webex等。
2.3 關(guān)鍵技術(shù)
云計(jì)算作為一種集群計(jì)算和服務(wù)模式，運(yùn)用了多種計(jì)算機(jī)技術(shù)，以編程模型、數(shù)據(jù)存儲(chǔ)管理、虛擬化最為關(guān)鍵。
1) 編程模型
Google提出的Map-Reduce[3]是一種流行的云計(jì)算編程模式，Map（映射）程序?qū)?shù)據(jù)分割成不相關(guān)的數(shù)據(jù)塊，Reduce（化簡(jiǎn)）程序則將將數(shù)據(jù)處理的中間結(jié)果進(jìn)行歸并，如圖4所示。Map-Reduce可將海量異構(gòu)數(shù)據(jù)的分析處理工作分解成任意粒度的子任務(wù)，并允許在多個(gè)計(jì)算節(jié)點(diǎn)之間進(jìn)行靈活的數(shù)據(jù)調(diào)度，此外，程序員無(wú)需關(guān)心數(shù)據(jù)塊的分配和調(diào)度，該部分工作由平臺(tái)自動(dòng)完成。
2) 數(shù)據(jù)存儲(chǔ)管理
云計(jì)算采用分布式的方法存儲(chǔ)和管理數(shù)據(jù)，并利用冗余存儲(chǔ)保證數(shù)據(jù)的可靠性，常用技術(shù)有Google的GFS及Hadoop團(tuán)隊(duì)的HDFS[4]，其中后者是前者的開源實(shí)現(xiàn)。
GFS系統(tǒng)架構(gòu)如圖5所示，整個(gè)系統(tǒng)節(jié)點(diǎn)分三類：Client（客戶端）是GFS提供給應(yīng)用程序的訪問接口、Master（主服務(wù)器）是管理節(jié)點(diǎn)， Chunk Server（數(shù)據(jù)塊服務(wù)器）則負(fù)責(zé)具體工作。Chunk Server可有多個(gè)，每個(gè)Chunk對(duì)應(yīng)一個(gè)索引號(hào)（Index）。作為對(duì)比，HDFS體系結(jié)構(gòu)如圖6所示。
云計(jì)算的數(shù)據(jù)管理需滿足大規(guī)模海量數(shù)據(jù)的計(jì)算和分析，大多采用列存儲(chǔ)的數(shù)據(jù)管理模式?，F(xiàn)有技術(shù)中最主流的是Google的BigTable，Google對(duì)BigTable給出了如下定義：BigTable是一種為了管理結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng)，這些數(shù)據(jù)可以擴(kuò)展到非常大的規(guī)模。此外，Hadoop團(tuán)隊(duì)也開發(fā)了類似BigTable的開源產(chǎn)品HBase和Hive。
3) 虛擬化技術(shù)
虛擬化技術(shù)是云計(jì)算區(qū)別于一般并行計(jì)算的根本性特點(diǎn)，其實(shí)質(zhì)是實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離，把物理資源變成邏輯可管理資源。目前云計(jì)算中虛擬化技術(shù)主要包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式，也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。根據(jù)對(duì)象又可分為存儲(chǔ)虛擬化、計(jì)算虛擬化、應(yīng)用級(jí)虛擬化等等。
將虛擬化的技術(shù)應(yīng)用到云計(jì)算平臺(tái)，使得云計(jì)算具有靈活的進(jìn)程遷移方式，更有效的使用主機(jī)資源，在部署上也更加靈活。
2.4 架構(gòu)設(shè)計(jì)
云計(jì)算體系結(jié)構(gòu)的特點(diǎn)包括：設(shè)備眾多、規(guī)模大、采用虛擬機(jī)技術(shù)、任意地點(diǎn)、多種設(shè)備匯集，并可以定制服務(wù)質(zhì)量等等。文獻(xiàn)[5]提出了一種面向市場(chǎng)應(yīng)用的云計(jì)算體系結(jié)構(gòu)，如圖7所示：
1) 用戶：用戶可以在任意地點(diǎn)提交服務(wù)請(qǐng)求；
2) SLA資源分配器：充當(dāng)云后端和用戶之間的接口，包括服務(wù)請(qǐng)求檢測(cè)和接納控制模塊、計(jì)價(jià)模塊、會(huì)計(jì)模塊、VM監(jiān)視器模塊、分發(fā)器模塊和服務(wù)請(qǐng)求監(jiān)視器模塊；
3) 虛擬機(jī)（VMs）：為實(shí)現(xiàn)在一臺(tái)物理機(jī)上的多個(gè)服務(wù)提供最大彈性的資源分配；
4) 物理設(shè)備：包括服務(wù)器、存儲(chǔ)設(shè)備及路由器等。
基于云計(jì)算平臺(tái)的華東CDM系統(tǒng)還處于初步研究階段，采用本架構(gòu)進(jìn)行初步設(shè)計(jì)及仿真驗(yàn)證。
3 云計(jì)算網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)
云計(jì)算系統(tǒng)后端的網(wǎng)絡(luò)由大量服務(wù)器組成，分布廣泛，復(fù)雜度高。要保證數(shù)據(jù)的暢通傳輸，需要設(shè)計(jì)一個(gè)合理高效的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。
首先，為保證管理擴(kuò)展和維護(hù)的方便，將云計(jì)算系統(tǒng)分成多個(gè)子網(wǎng)，各子網(wǎng)采用樹形拓?fù)浣Y(jié)構(gòu)，如圖8所示。在此基礎(chǔ)上，把每個(gè)子網(wǎng)看成一個(gè)節(jié)點(diǎn)，各個(gè)節(jié)點(diǎn)具備流量、交換能力、地理位置等屬性，將云計(jì)算網(wǎng)絡(luò)拓?fù)涑橄蟪蓤D論數(shù)學(xué)模型。如何連接各個(gè)節(jié)點(diǎn)，才能即滿足冗余度要求，又盡可能降低網(wǎng)絡(luò)架設(shè)花銷已被證明為NP-hard[6][7]，故只能求解近似最優(yōu)解。此類問題的解法有兩種，一種是在限定網(wǎng)絡(luò)花銷的情況下最大化網(wǎng)絡(luò)的抗毀能力[8]，另一種是在保證網(wǎng)絡(luò)一定抗毀能力的條件下盡可能減小花銷[7]，本文按照后者進(jìn)行設(shè)計(jì)。
在圖論領(lǐng)域，該問題可簡(jiǎn)化為求解特定連通度k時(shí)最小生成子圖的問題，本文主要考慮基于圖論的k-FOREST算法[9]、merge-MST算法[10]和啟發(fā)式算法TEA[7]。通過理論推導(dǎo)，三種算法的時(shí)間復(fù)雜度如表1所示，其中TMST=O(m?logm)或O(n2),m代表圖邊數(shù)，n代表點(diǎn)數(shù)。
本文
參考文獻(xiàn)[11]的仿真手段對(duì)三種算法進(jìn)行比較，考慮7、10、15、25個(gè)節(jié)點(diǎn)的場(chǎng)景，得到平均邊數(shù)和平均花銷的比較示意圖如圖9、10所示。
通過比較可看出，在節(jié)點(diǎn)數(shù)目較少時(shí)TEA算法表現(xiàn)最佳，但隨著節(jié)點(diǎn)數(shù)目增多性能迅速下降；在節(jié)點(diǎn)數(shù)多于20個(gè)時(shí)，則是merge-MST算法更優(yōu)。
考慮到CDM系統(tǒng)規(guī)模龐大，僅華東區(qū)域就需要計(jì)算機(jī)點(diǎn)80~100個(gè)，故選取merge-MST進(jìn)行網(wǎng)絡(luò)架構(gòu)的設(shè)計(jì)。
4 總方案設(shè)計(jì)
基于云計(jì)算架構(gòu)的CDM系統(tǒng)，依托中心節(jié)點(diǎn)、區(qū)域節(jié)點(diǎn)和業(yè)務(wù)集中節(jié)點(diǎn)，整合分布的物理資源，形成統(tǒng)一的可調(diào)配的邏輯資源?？偡桨附Y(jié)構(gòu)如圖11所示。包括基礎(chǔ)設(shè)施、虛擬資源層、信息共享云平臺(tái)層，應(yīng)用層以及貫穿始終的安全層和管理層。
1) 基礎(chǔ)設(shè)施層：既包括支持民航CDM系統(tǒng)運(yùn)行所必需的基礎(chǔ)設(shè)施，也包括行業(yè)內(nèi)可整合入CDM系統(tǒng)的其他設(shè)施。
2) 虛擬資源層：采用云計(jì)算技術(shù)，整合分布的硬件資源，形成資源池，靈活調(diào)配提供服務(wù)。
3) 云平臺(tái)層：涵蓋管理底層資源、支撐上層應(yīng)用的各個(gè)軟件和模塊，包括平臺(tái)管理、負(fù)載均衡、中間件、業(yè)務(wù)流程管理軟件等等。
4) 應(yīng)用層：將CDM系統(tǒng)功能進(jìn)行最后一步封裝后提供給用戶。
5) 安全層：負(fù)責(zé)整個(gè)CDM系統(tǒng)的安全。
6) 管理層：管理整個(gè)CDM系統(tǒng)運(yùn)行配置，包括資源管理、網(wǎng)絡(luò)監(jiān)控、部署管理、內(nèi)容管理以及用戶管理等，監(jiān)控硬件、軟件等多個(gè)層次，提高整體運(yùn)行效率。
5 系統(tǒng)測(cè)試與應(yīng)用
為驗(yàn)證所設(shè)計(jì)方案的可行性，并測(cè)試方案性能，本文搭建了測(cè)試環(huán)境，針對(duì)CDM系統(tǒng)多項(xiàng)業(yè)務(wù)進(jìn)行了測(cè)試。
CDM系統(tǒng)主要業(yè)務(wù)涵蓋協(xié)同決策系統(tǒng)、流量管理系統(tǒng)、統(tǒng)一飛行計(jì)劃處理系統(tǒng)和塔臺(tái)電子進(jìn)程單系統(tǒng)。其中協(xié)同決策系統(tǒng)為頂層系統(tǒng)；流量管理系統(tǒng)幫助最大限度利用空中交通服務(wù)的容量；統(tǒng)一飛行計(jì)劃處理系統(tǒng)負(fù)責(zé)接收、處理和飛行計(jì)劃；塔臺(tái)電子進(jìn)程單系統(tǒng)則協(xié)助塔臺(tái)管制員管制飛機(jī)的起降。
5.1 硬件環(huán)境
云計(jì)算集群設(shè)有3個(gè)master節(jié)點(diǎn)，18個(gè)slave節(jié)點(diǎn)，各節(jié)點(diǎn)均是基于X86架構(gòu)的PC機(jī)。PC機(jī)配置如表2所示。
所有測(cè)試主機(jī)均連接在千兆網(wǎng)絡(luò)中，網(wǎng)絡(luò)環(huán)境中不存在其他設(shè)備，干擾因素可忽略不計(jì)。
5.2 軟件環(huán)境
測(cè)試采用Hadoop團(tuán)隊(duì)開發(fā)的開源軟件，版本如表3所示。
5.3 測(cè)試結(jié)果
通過編寫程序，在測(cè)試環(huán)境中進(jìn)行電報(bào)處理、雷達(dá)軌跡處理、氣象與情報(bào)處理、橋位信息處理、航班信息、數(shù)據(jù)查詢以及協(xié)同航班處理等壓力測(cè)試，平均日最大處理?xiàng)l目數(shù)量如表4所示。
測(cè)試結(jié)果表明：云計(jì)算平臺(tái)計(jì)算能力強(qiáng)，能夠彌補(bǔ)現(xiàn)有民航CDM系統(tǒng)的不足，可滿足華東地區(qū)CDM系統(tǒng)前瞻性設(shè)計(jì)要求。
6 結(jié)束語(yǔ)
本文針對(duì)華東地區(qū)巨大的航班吞吐量，提出了一套基于云計(jì)算平臺(tái)的CDM系統(tǒng)設(shè)計(jì)方案。通過測(cè)試驗(yàn)證，該系統(tǒng)架構(gòu)具備良好的計(jì)算能力和業(yè)務(wù)處理能力，使用靈活，更滿足系統(tǒng)安全可靠、成本低、易拓展的需求。
基于云計(jì)算的華東空管CDM系統(tǒng)是現(xiàn)有CDM系統(tǒng)的發(fā)展方向，將在2015年開始詳細(xì)設(shè)計(jì)。
參考文獻(xiàn)
Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.
UC Berkeley 可靠自適應(yīng)分布式系統(tǒng)實(shí)驗(yàn)室, 姚宏宇譯. 云端之上——Berkeley對(duì)云計(jì)算的看法. 2009.
J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.
Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.
R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.
S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.
E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.
F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.
H. Nagamochi, T. Ibaraki, A linear-time algorithm for fi ndinga sparse k-connected spanning subgraph of a k-connectedgraph [J], Algorithmica 7, 1992, (7): 583-596.
【關(guān)鍵詞】云計(jì)算；電力數(shù)據(jù)中心；基礎(chǔ)架構(gòu)；關(guān)鍵技術(shù)
信息集成作為消除電力企業(yè)信息的孤島，它使信息可以實(shí)現(xiàn)共享，并且可以為其提供進(jìn)行決策支持的關(guān)鍵技術(shù)，而數(shù)據(jù)中心是實(shí)現(xiàn)信息集成的重要前提，在其中具有非常重要的學(xué)術(shù)價(jià)值以及應(yīng)用價(jià)值。數(shù)據(jù)中心也是在近期內(nèi)一直被廣泛關(guān)注和研究的重點(diǎn)，也是電力企業(yè)在對(duì)研制智能電網(wǎng)以及規(guī)劃智能電網(wǎng)的過程中面臨的重要的問題。為了順利的實(shí)現(xiàn)信息共享和系統(tǒng)集成應(yīng)用，電力企業(yè)在現(xiàn)階段正大力的構(gòu)建智能電網(wǎng)系統(tǒng)中心和電力調(diào)度系統(tǒng)中心完全統(tǒng)一的數(shù)據(jù)平臺(tái)，企業(yè)信息平臺(tái)以及配電網(wǎng)系統(tǒng)的信息集成平臺(tái)等。
1 現(xiàn)存的電力數(shù)據(jù)中心
現(xiàn)存的電力數(shù)據(jù)中心具有的功能主要包含獲取數(shù)據(jù)、管理數(shù)據(jù)、存儲(chǔ)數(shù)據(jù)以及訪問數(shù)據(jù)等。數(shù)據(jù)獲取層可以對(duì)營(yíng)銷管理、協(xié)同辦公、安全生產(chǎn)、物資管理、人力資源、項(xiàng)目管理以及綜合管理等業(yè)務(wù)數(shù)據(jù)進(jìn)行提取和轉(zhuǎn)換，使其可以被轉(zhuǎn)換成為規(guī)范的、科學(xué)的基礎(chǔ)數(shù)據(jù)，并把這些數(shù)據(jù)合理有效的加載到數(shù)據(jù)庫(kù)。對(duì)數(shù)據(jù)進(jìn)行儲(chǔ)存的管理層需要ETL數(shù)據(jù)庫(kù)，從而逐漸的形成具有多維度分析的核心數(shù)據(jù)，并把這些數(shù)據(jù)合理有效的儲(chǔ)存在數(shù)據(jù)庫(kù)，從而順利的實(shí)現(xiàn)對(duì)數(shù)據(jù)編碼和元數(shù)據(jù)的管理。數(shù)據(jù)訪問層的主要職責(zé)是在展示界面的過程中為其提供統(tǒng)一的、有效的數(shù)據(jù)，進(jìn)而讓統(tǒng)計(jì)查詢、分析聯(lián)機(jī)決策輔助以及挖掘數(shù)據(jù)等功能得以順利的實(shí)現(xiàn)。
各個(gè)電力公司以及直屬單位的數(shù)據(jù)都需要按照國(guó)家電網(wǎng)公司所規(guī)定的特殊設(shè)計(jì)，在完全滿足基礎(chǔ)功能與關(guān)鍵指標(biāo)的前提下，按照自身的生產(chǎn)安全和設(shè)備管理等一些特殊的業(yè)務(wù)特征以及需求進(jìn)行建設(shè)。由于各省的電力系統(tǒng)間一直具有著很大的差異，在對(duì)數(shù)據(jù)中心進(jìn)行建設(shè)時(shí)，電力系統(tǒng)的一些特殊軟件（網(wǎng)絡(luò)、環(huán)境調(diào)節(jié)、存儲(chǔ)、電力、服務(wù)器以及監(jiān)控等）之間不可避免的具有很大的差別。除此之外，在對(duì)軟件設(shè)施、硬件設(shè)施以及數(shù)據(jù)安全等進(jìn)行系統(tǒng)的維護(hù)和管理的過程中還必須要選用不同的管理技術(shù)，隨著管理工具的不斷增加以及管理設(shè)計(jì)存在缺陷，所以就導(dǎo)致了缺乏管理經(jīng)驗(yàn)和管理過程復(fù)雜等問題的出現(xiàn)，這樣就導(dǎo)致在對(duì)數(shù)據(jù)中心進(jìn)行維護(hù)和管理時(shí)成本較高。
2 基于云計(jì)算的電力數(shù)據(jù)中心
2.1 電力系統(tǒng)云計(jì)算數(shù)據(jù)中心的基礎(chǔ)架構(gòu)
選用云計(jì)算的技術(shù)對(duì)現(xiàn)存的電力數(shù)據(jù)中心進(jìn)行改善，構(gòu)建出逐漸向智能電網(wǎng)發(fā)展的新型的電力數(shù)據(jù)中心。在基礎(chǔ)的設(shè)施層，利用虛擬機(jī)監(jiān)視器和虛擬化平臺(tái)對(duì)一些相關(guān)的硬件設(shè)備（存儲(chǔ)設(shè)備、網(wǎng)絡(luò)設(shè)備和服務(wù)器）實(shí)行虛擬化，對(duì)相關(guān)的電力公司和直屬企業(yè)間存在著差異的設(shè)施給予屏蔽，把虛擬機(jī)當(dāng)成單位對(duì)其進(jìn)行全面的、科學(xué)的自動(dòng)化管理，主要包括了抽象資源、管理安全、管理負(fù)載、部署資源以及監(jiān)控資源等，它既能讓資源利用率有所提升，還能夠使相關(guān)的管理維護(hù)人員對(duì)服務(wù)器等系統(tǒng)和硬件設(shè)施等管理工作得以徹底的擺脫，一定要認(rèn)真的對(duì)系統(tǒng)業(yè)務(wù)以及虛擬機(jī)進(jìn)行維護(hù)，從而讓數(shù)據(jù)中心的管理工作以及維護(hù)工作得到簡(jiǎn)化。
2.2 實(shí)時(shí)遷移
在電力數(shù)據(jù)中心，服務(wù)器是非常關(guān)鍵的硬件設(shè)施，它的資源利用效率對(duì)電力數(shù)據(jù)中心具有的性能有著直接的影響。通過對(duì)其進(jìn)行調(diào)查研究可知，目前企業(yè)數(shù)據(jù)中心的大量x86服務(wù)器僅運(yùn)行一個(gè)應(yīng)用，而CPU的利用率則為百分之五到百分之二十之間。通過可靠性以及性能以及對(duì)其進(jìn)行考慮，現(xiàn)存的數(shù)據(jù)中心業(yè)務(wù)系統(tǒng)大多數(shù)都是運(yùn)行在不同的服務(wù)器上的，例如，項(xiàng)目管理系統(tǒng)以及綜合管理系統(tǒng)都運(yùn)行在自己獨(dú)立的服務(wù)器上，但是服務(wù)器自身具備著資源利用效率很低的弊端。在新型的電力數(shù)據(jù)中心，對(duì)服務(wù)器進(jìn)行虛擬化，使單一的服務(wù)器通過進(jìn)行虛擬化，被分為很多虛擬機(jī)，從而使服務(wù)器資源利用的效率得到提高。
在使服務(wù)器的利用效率得到提高的同時(shí)，應(yīng)該把性能開銷以及可靠性的問題解決。對(duì)可靠性進(jìn)行解決的有效手段為采取隔離的手段，在服務(wù)器上具有若干個(gè)虛擬機(jī)實(shí)例的基礎(chǔ)上，必須確保每個(gè)虛擬機(jī)之間是完全被隔離的，換句話說，就是如果其中的某個(gè)虛擬機(jī)遭受崩潰，不會(huì)影響到其他的虛擬機(jī)，使之可以從故障中及時(shí)有效的得到恢復(fù)，從而使服務(wù)器資源利用的效率得到提高。
3 云計(jì)算電力數(shù)據(jù)中心的遷移策略
對(duì)電力數(shù)據(jù)中心進(jìn)行設(shè)計(jì)和建設(shè)的過程是非常重要的系統(tǒng)工程。目前的數(shù)據(jù)中心都是利用國(guó)家電網(wǎng)公司的規(guī)定進(jìn)行統(tǒng)一的設(shè)計(jì)建設(shè)的，但是因?yàn)槊總€(gè)地方的系統(tǒng)業(yè)務(wù)應(yīng)用、信息化水平以及成熟程度之間的差異，讓電力數(shù)據(jù)中心在建設(shè)的過程中自身具備著獨(dú)特的特征，虛擬化技術(shù)也慢慢的被引入到一些電力數(shù)據(jù)中心，初步具有了云計(jì)算的能力，但是大多數(shù)的電力企業(yè)依舊停留在以往傳統(tǒng)的數(shù)據(jù)中心水平，遠(yuǎn)遠(yuǎn)不能達(dá)到智能電網(wǎng)中全新的數(shù)據(jù)中心對(duì)大量的數(shù)據(jù)儲(chǔ)存、高可靠性、可伸縮性、高效計(jì)算以及高可用性的需求。
提出了現(xiàn)存電力數(shù)據(jù)云計(jì)算中心通過分階段對(duì)其進(jìn)行遷移的策略，以此對(duì)其得以平穩(wěn)過渡進(jìn)行保障。第一，對(duì)所有的電力公司以及公司總部的數(shù)據(jù)中心進(jìn)行系統(tǒng)的升級(jí)，使其能夠慢慢的升級(jí)到云節(jié)點(diǎn)。虛擬化電力數(shù)據(jù)中心的基礎(chǔ)設(shè)施，使服務(wù)器的可拓展性、可用性以及彈性得到提升，對(duì)其進(jìn)行系統(tǒng)的升級(jí)以及改造，讓它可以成為建立在云計(jì)算基礎(chǔ)上的數(shù)據(jù)中心，也就是人們所說的云節(jié)點(diǎn)。第二，對(duì)系統(tǒng)中的所有云節(jié)點(diǎn)進(jìn)行連接，使其形成電力公司的私有云。全部的電力數(shù)據(jù)中心在構(gòu)建成可用性高以及可拓展的云節(jié)點(diǎn)以后，需要把全部的云節(jié)點(diǎn)進(jìn)行有效的連接，從而形成具有多中心性能的私有云。
4 結(jié)語(yǔ)
本文通過研究和分析虛擬化服務(wù)器、實(shí)時(shí)遷移以及Hadoop等關(guān)鍵的技術(shù)，提出了電力企業(yè)云計(jì)算數(shù)據(jù)的整體架構(gòu)，設(shè)計(jì)出了構(gòu)建在Hadoop基礎(chǔ)之上的電力數(shù)據(jù)云計(jì)算中心平臺(tái)，使之可以與新一代數(shù)據(jù)中心在發(fā)展過程中的趨勢(shì)相適應(yīng)，并完全滿足智能電網(wǎng)的要求。云計(jì)算作為一種新型的技術(shù)，其虛擬化、資源管理、體系結(jié)構(gòu)以及數(shù)據(jù)存儲(chǔ)等問題還需要進(jìn)一步的對(duì)其進(jìn)行研究。
參考文獻(xiàn)：
[1]潘毅,周京陽(yáng),李強(qiáng),米為民,樊濤.基于公共信息模型的電力系統(tǒng)模型的拆分與合并[J].電力系統(tǒng)自動(dòng)化,2003(15).
[2]王志南,吳文傳,張伯明,何云良,孫宏斌,汪皓,徐文.基于IEC 61970的CIS服務(wù)與SVG的研究和實(shí)踐[J].電力系統(tǒng)自動(dòng)化,2005(22).
[3]孫澤鋒.云計(jì)算在電網(wǎng)企業(yè)的應(yīng)用與信息安全[A].中國(guó)通信學(xué)會(huì)信息通信網(wǎng)絡(luò)技術(shù)委員會(huì)2011年年會(huì)論文集（上冊(cè)）[C].2011.
關(guān)鍵詞： 云計(jì)算； 橋梁安全與健康監(jiān)測(cè)； 數(shù)據(jù)中心； 數(shù)據(jù)管理技術(shù)
中圖分類號(hào)：TP391 文獻(xiàn)標(biāo)志碼：A 文章編號(hào)：1006-8228（2013）12-18-04
Basic architecture and data management technology of bridge safety and health
monitoring data center based on cloud computing
Tu Huimin1，2， Wu Jufeng1，2
（1. Wuhan Bridge Science Research Institute（BSRI） Ltd.MBEC， Wuhan， Hubei 430034， China；
2. Key laboratory of bridge structure and health of Hubei province）
Abstract： With the development of bridge safety&health monitoring data center （BSHM-DC） technology， the monitoring data is increased rapidly in exponential speed， which requires the data storage and management technology of data center to be more intelligent and efficient. In this paper， the data management technology and developing trend of BSMS-DC is put forward firstly. After illustrating the basic architecture of BSHM-DC on the basis of cloud computing， the selections of key devices and related software are discussed. Lastly， its application expectation of BSHM-DC is prospected.
Key words： cloud computing； bridge safety &health monitoring （BSHM）； data center（DC）； data management technology
0 引言
橋梁安全與健康監(jiān)測(cè)系統(tǒng)是通過在橋梁的關(guān)鍵部位布置高可靠性和耐久性的各類傳感器，對(duì)結(jié)構(gòu)內(nèi)力、變形、動(dòng)力特性、環(huán)境狀況進(jìn)行實(shí)時(shí)監(jiān)測(cè)，獲取橋梁在營(yíng)運(yùn)期內(nèi)受各種荷載作用下的結(jié)構(gòu)響應(yīng)，通過理論計(jì)算和規(guī)范值與實(shí)測(cè)值的對(duì)比、分析，實(shí)現(xiàn)結(jié)構(gòu)異常響應(yīng)報(bào)警、結(jié)構(gòu)營(yíng)運(yùn)安全性評(píng)估、結(jié)構(gòu)損傷識(shí)別等。由于該系統(tǒng)7*24小時(shí)不間斷檢測(cè)，所采集的數(shù)據(jù)量飛速增長(zhǎng)。在面對(duì)多座橋梁監(jiān)測(cè)系統(tǒng)集成管理的情況下通常采用直聯(lián)式數(shù)據(jù)存儲(chǔ)方式，其數(shù)據(jù)的存儲(chǔ)能力、數(shù)據(jù)管理難度、數(shù)據(jù)安全，以及存儲(chǔ)資源的利用等，都難以滿足系統(tǒng)設(shè)計(jì)需求。
云計(jì)算可以滿足新一代數(shù)據(jù)中心對(duì)網(wǎng)絡(luò)、存儲(chǔ)和計(jì)算的業(yè)務(wù)需求，并能提供豐富的應(yīng)用服務(wù)，是新一代數(shù)據(jù)中心的核心要素[1-2]。本文通過引入云計(jì)算的基礎(chǔ)架構(gòu)，建立了基于云計(jì)算的橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心，將分散在全國(guó)各地的監(jiān)測(cè)系統(tǒng)數(shù)據(jù)進(jìn)行集中可靠的存儲(chǔ)與管理，并通過云計(jì)算數(shù)據(jù)中心向用戶提供高效、安全的服務(wù)。
1 橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心建設(shè)的現(xiàn)狀
隨著在役橋梁安全與健康監(jiān)測(cè)建設(shè)的發(fā)展，橋梁安全與健康監(jiān)測(cè)系統(tǒng)中海量數(shù)據(jù)的存儲(chǔ)與有效利用日顯重要，并成為在役系統(tǒng)普遍關(guān)注的一個(gè)重點(diǎn)。一個(gè)中等橋梁安全與健康監(jiān)測(cè)系統(tǒng)數(shù)據(jù)日增長(zhǎng)量在3GB/天左右，一年有1.1TB增量的數(shù)據(jù)，數(shù)據(jù)的維護(hù)管理主要依賴系統(tǒng)管理員定期執(zhí)行，數(shù)據(jù)管理的實(shí)施方式難以統(tǒng)一。隨著數(shù)據(jù)量的增加，數(shù)據(jù)管理工作量、管理難度及管理成本成倍增加，數(shù)據(jù)也得不到有效利用。
橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心引入云計(jì)算，可將業(yè)務(wù)數(shù)據(jù)和應(yīng)用在公有云和私有云之間同步，當(dāng)數(shù)據(jù)中心構(gòu)建的私有云出現(xiàn)故障，應(yīng)用可以無(wú)縫遷移到公有云中。通過云計(jì)算將分散在全國(guó)各地的業(yè)務(wù)系統(tǒng)數(shù)據(jù)通過INTERNET進(jìn)行集中存儲(chǔ)與管理，可向橋梁技術(shù)研究者提供數(shù)據(jù)共享服務(wù)分析橋梁健康監(jiān)測(cè)海量數(shù)據(jù)；橋梁管理單位即使不具備橋梁專業(yè)技術(shù)知識(shí)也可以在任何地方、任何時(shí)間監(jiān)測(cè)到橋梁的實(shí)際運(yùn)營(yíng)狀況，獲得橋梁健康監(jiān)測(cè)報(bào)告及橋梁營(yíng)運(yùn)安全性評(píng)估等服務(wù)并實(shí)時(shí)反饋專家意見，大大提高了橋梁管養(yǎng)效率。
基于云計(jì)算的橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心建設(shè)分兩部分，一部分是集成中心，另一部分是分散在全國(guó)各地的分中心。集成中心的數(shù)據(jù)增長(zhǎng)量在10GB/天，分中心的數(shù)據(jù)增長(zhǎng)量在3GB/天左右，增長(zhǎng)量會(huì)隨著業(yè)務(wù)量的增加而增加。集成中心利用云計(jì)算技術(shù)對(duì)服務(wù)器、存儲(chǔ)、網(wǎng)絡(luò)等IT資源進(jìn)行虛擬化，將所有的IT資源放在一個(gè)資源池中并進(jìn)行動(dòng)態(tài)資源管理，對(duì)IT資源進(jìn)行監(jiān)管和云管理。當(dāng)資源池中分配給某個(gè)橋梁安全與健康監(jiān)測(cè)系統(tǒng)的資源出現(xiàn)故障或者該系統(tǒng)獲得的資源不夠用的時(shí)候，云管理平臺(tái)會(huì)自動(dòng)分配給它新的資源，從而保證系統(tǒng)7*24小時(shí)不間斷運(yùn)行。
分中心的數(shù)據(jù)通過公共Internet網(wǎng)絡(luò)與集成中心組成云網(wǎng)絡(luò)，數(shù)據(jù)進(jìn)行同步，在集成中心對(duì)數(shù)據(jù)進(jìn)行異地容災(zāi)備份。集成中心有兩份數(shù)據(jù)，一份數(shù)據(jù)面向橋梁安全與健康監(jiān)測(cè)系統(tǒng)（數(shù)據(jù)庫(kù)A），一份數(shù)據(jù)是完全備份數(shù)據(jù)（數(shù)據(jù)庫(kù)B）。我們主要考慮如何優(yōu)化實(shí)時(shí)數(shù)據(jù)讀取和歷史數(shù)據(jù)查詢。數(shù)據(jù)庫(kù)B中保留所有數(shù)據(jù)，數(shù)據(jù)庫(kù)A只保留最近1周的數(shù)據(jù)；業(yè)務(wù)系統(tǒng)實(shí)時(shí)讀取的是數(shù)據(jù)庫(kù)A中的數(shù)據(jù)，而查詢一周之前的數(shù)據(jù)就讀取數(shù)據(jù)庫(kù)B中的數(shù)據(jù)。
圖1 分中心數(shù)據(jù)庫(kù)結(jié)構(gòu)與操作
2 關(guān)鍵技術(shù)
云計(jì)算（Clouding Computing）由Google、Amazon等公司于2006年首先提出，它是一種利用互聯(lián)網(wǎng)實(shí)現(xiàn)隨時(shí)隨地、按需、便捷地訪問共享資源池（如計(jì)算設(shè)施、存儲(chǔ)設(shè)備、應(yīng)用程序等）的計(jì)算模式[3]。我國(guó)政府高度重視對(duì)云計(jì)算的發(fā)展，把其列為重點(diǎn)發(fā)展的戰(zhàn)略性新興產(chǎn)業(yè)[4-5]，云計(jì)算技術(shù)的應(yīng)用已成為國(guó)內(nèi)外的熱點(diǎn)研究問題[6-8]。
基于云計(jì)算的橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心的建設(shè)所需專業(yè)涉及面較廣，如橋梁專業(yè)、網(wǎng)絡(luò)通信專業(yè)、計(jì)算機(jī)專業(yè)等。本節(jié)著重討論其在計(jì)算機(jī)領(lǐng)域內(nèi)實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心的關(guān)鍵技術(shù)。
2.1 虛擬化技術(shù)
虛擬化技術(shù)能讓所有計(jì)算元件在虛擬的基礎(chǔ)上運(yùn)行，是實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心不可缺少的功能。通過把有限的固定的資源根據(jù)不同需求進(jìn)行重新規(guī)劃以達(dá)到最大利用率的思路，在IT領(lǐng)域就叫虛擬化技術(shù)[9-10]（Virtual Technology）。這種解決方案能在很大程度上優(yōu)化資源、節(jié)約成本。虛擬化技術(shù)包括計(jì)算虛擬化技術(shù)、網(wǎng)絡(luò)虛擬化技術(shù)、存儲(chǔ)虛擬化技術(shù)。系統(tǒng)虛擬化前后的特點(diǎn)如表1所述。
表1 虛擬化前后特點(diǎn)比較
[虛擬化前＼&虛擬化后＼&每臺(tái)主機(jī)一個(gè)操作系統(tǒng)＼&每臺(tái)主機(jī)上運(yùn)行多個(gè)虛擬機(jī)，每個(gè)虛擬機(jī)一個(gè)操作系統(tǒng)
＼&每臺(tái)主機(jī)上運(yùn)行多個(gè)程序，可能造成沖突
＼&多個(gè)程序可分別在運(yùn)行在多個(gè)虛擬機(jī)上，應(yīng)用程序相對(duì)獨(dú)立的運(yùn)行空間，避免沖突
＼&每臺(tái)主機(jī)配一個(gè)存儲(chǔ)，存儲(chǔ)資源得不到有效利用，且一旦存儲(chǔ)出現(xiàn)單點(diǎn)故障，數(shù)據(jù)可能丟失
＼&多個(gè)虛擬機(jī)共享存儲(chǔ)，當(dāng)一臺(tái)主機(jī)出現(xiàn)故障時(shí)，會(huì)自動(dòng)分配其他主機(jī)上的硬件資源給故障主機(jī)的應(yīng)用程序＼&硬件成本高，且配置和管理困難＼&虛擬機(jī)獨(dú)立于硬件運(yùn)行，可動(dòng)態(tài)資源分配，新程序的部署工作只需要幾分鐘，有效節(jié)約硬件和維護(hù)成本
＼&]
目前虛擬化技術(shù)的產(chǎn)品主要有EMC的 VMware虛擬化產(chǎn)品，Microsoft的Virtual Server， Sun的Virtual Box，以及Ctrix公司的Xen Server和Xen，占市場(chǎng)份額最大的是EMC的 VMware虛擬化產(chǎn)品。
2.2 數(shù)據(jù)存儲(chǔ)技術(shù)
基于云計(jì)算的橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心需要滿足大數(shù)據(jù)管理的需求，為大量橋梁管理者提供服務(wù)并且為橋梁研究者提供大數(shù)據(jù)分析功能。數(shù)據(jù)安全可靠存儲(chǔ)是實(shí)現(xiàn)大數(shù)據(jù)管理分析的基礎(chǔ)。
數(shù)據(jù)存儲(chǔ)系統(tǒng)從物理結(jié)構(gòu)來(lái)看，底層主要是磁盤，通過光纖、串口線等與磁盤后的板卡和控制器相連。目前最常用的存儲(chǔ)方式有DAS（直接連接存儲(chǔ)）、SAN（存儲(chǔ)區(qū)域網(wǎng)絡(luò)）和NAS（網(wǎng)絡(luò)附加存儲(chǔ)）。直連存儲(chǔ)（DAS）是直接通過SCSI線纜或者光纖直接連接到服務(wù)器上。存儲(chǔ)區(qū)域網(wǎng)絡(luò)（SAN）是通過網(wǎng)絡(luò)方式連接存儲(chǔ)設(shè)備和應(yīng)用服務(wù)器，目前常用的SAN結(jié)構(gòu)根據(jù)連接介質(zhì)不同而分為FC SAN和IP SAN。網(wǎng)絡(luò)附加存儲(chǔ)（NAS）是將網(wǎng)絡(luò)存儲(chǔ)設(shè)備直接放在網(wǎng)絡(luò)上提供文件共享服務(wù)。這三種技術(shù)優(yōu)缺點(diǎn)如表2所示。
表2 DAS、SAN、NAS數(shù)據(jù)存儲(chǔ)系統(tǒng)技術(shù)優(yōu)缺點(diǎn)
[特征＼&DAS＼&SAN＼&NAS＼&安裝難易度＼&較難＼&較難＼&很容易＼&集中管理＼&難＼&專用軟件＼&基于網(wǎng)絡(luò)＼&擴(kuò)展性＼&低＼&高＼&中＼&數(shù)據(jù)共享＼&難＼&通過軟件實(shí)現(xiàn)＼&內(nèi)部實(shí)現(xiàn)＼&處理能力＼&強(qiáng)＼&強(qiáng)＼&視網(wǎng)絡(luò)情況而定＼&備份＼&傳統(tǒng)方式＼&服務(wù)器不參與＼&多種方案＼&容災(zāi)＼&基于服務(wù)器＼&端對(duì)端及多點(diǎn)容災(zāi)＼&端對(duì)端方案＼&安全＼&中＼&高＼&低＼&]
目前主要存儲(chǔ)廠商的FC SAN存儲(chǔ)可以實(shí)現(xiàn)8Gbit/S的傳輸速率，但費(fèi)用較高，所以中大型數(shù)據(jù)中心建設(shè)中還是處于領(lǐng)先地位。但是隨著IP SAN技術(shù)的發(fā)展，較高的性價(jià)比使FC SAN存儲(chǔ)逐漸擴(kuò)大了在市場(chǎng)的份額。
2.3 動(dòng)態(tài)資源管理
云計(jì)算的資源包括存儲(chǔ)資源、計(jì)算資源、網(wǎng)絡(luò)資源、基礎(chǔ)設(shè)施資源以及其他資源[2]。當(dāng)應(yīng)用云計(jì)算時(shí)，面對(duì)大量設(shè)備和相關(guān)技術(shù)，如何有效整合各種資源并實(shí)施動(dòng)態(tài)資源管理是實(shí)現(xiàn)云計(jì)算的關(guān)鍵。云計(jì)算動(dòng)態(tài)資源管理系統(tǒng)的基本功能，是接受資源請(qǐng)求，合理地調(diào)度相應(yīng)的資源并且把特定的資源分配給資源請(qǐng)求者，使請(qǐng)求資源的業(yè)務(wù)得以運(yùn)行。它能跨資源池智能動(dòng)態(tài)調(diào)整計(jì)算資源，使IT與業(yè)務(wù)優(yōu)先級(jí)對(duì)應(yīng)，動(dòng)態(tài)提高系統(tǒng)的管理效率。
云計(jì)算的動(dòng)態(tài)資源管理必須處理好存儲(chǔ)架構(gòu)問題，解決資源部署、監(jiān)控和調(diào)度策略等問題。在VMware虛擬化產(chǎn)品中，DRS（vsphere Distributed Resources Scheduler）可以根據(jù)每一個(gè)虛機(jī)的實(shí)際運(yùn)行情況，適時(shí)地對(duì)內(nèi)存、CPU、網(wǎng)絡(luò)的消耗進(jìn)行動(dòng)態(tài)調(diào)整，將其平均分配到DRS集群的每一臺(tái)主機(jī)上面。動(dòng)態(tài)分配依靠VMotion實(shí)現(xiàn)，所以，VMotion是DRS的先決條件。
3 云計(jì)算數(shù)據(jù)中心實(shí)現(xiàn)
基于云計(jì)算的橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心實(shí)現(xiàn)了數(shù)據(jù)中心服務(wù)器、網(wǎng)絡(luò)、存儲(chǔ)虛擬化及負(fù)載均衡，其基礎(chǔ)架構(gòu)拓?fù)鋱D如圖2所示。
整個(gè)方案通過兩路6核服務(wù)器配合后端IP SAN存儲(chǔ)技術(shù)，并采用云計(jì)算虛擬化技術(shù)來(lái)實(shí)現(xiàn)橋梁安全與健康實(shí)時(shí)監(jiān)測(cè)。在云計(jì)算操作系統(tǒng)軟件的支持下，將3臺(tái)兩路6核服務(wù)器組建HA集群，并配合DRS及VMotion等高級(jí)功能，實(shí)現(xiàn)業(yè)務(wù)的連續(xù)性，減少計(jì)劃內(nèi)宕機(jī)時(shí)間，有效地提高資源利用率。
3.1 計(jì)算系統(tǒng)設(shè)備及軟件實(shí)現(xiàn)
計(jì)算系統(tǒng)設(shè)備主要是指服務(wù)器，服務(wù)器的選擇上主要考慮的是服務(wù)器的性能，滿足五年內(nèi)橋梁安全與健康監(jiān)測(cè)業(yè)務(wù)的需要，主要計(jì)算能力由3臺(tái)兩路6核服務(wù)器擔(dān)任。
而計(jì)算系統(tǒng)虛擬化的實(shí)現(xiàn)主要是利用軟件將服務(wù)器虛擬化。目前主流的、最具代表性的虛擬化軟件是VMware的Vsphere軟件。
本方案采用3臺(tái)企業(yè)級(jí)兩路服務(wù)器（HP Enterprise Server）作為核心數(shù)據(jù)庫(kù)平臺(tái)。該服務(wù)器能滿足數(shù)據(jù)庫(kù)應(yīng)用的高可用性、可恢復(fù)性，并具有錯(cuò)誤檢測(cè)及消除單點(diǎn)故障的功能。采用數(shù)據(jù)庫(kù)雙機(jī)方案也增強(qiáng)了應(yīng)用的可擴(kuò)展性，滿足業(yè)務(wù)不斷增長(zhǎng)的需要。由于該型服務(wù)器采用全新的因特爾快速互聯(lián)通道互聯(lián)架構(gòu)配合因特爾志強(qiáng)E5系列處理器及SAS 6Gbps高性能磁盤控制器，使系統(tǒng)聯(lián)機(jī)處理性能提升2.5倍以上，數(shù)據(jù)庫(kù)性能提升3倍以上，更加適用于基礎(chǔ)架構(gòu)、數(shù)據(jù)庫(kù)核心應(yīng)用。
3.2 存儲(chǔ)設(shè)備及數(shù)據(jù)管理軟件
在保障客戶應(yīng)用的前提下，存儲(chǔ)將成為一個(gè)必須受到關(guān)注的核心環(huán)節(jié)，因此雙控制器、多處理器和高可靠光纖8Gb存儲(chǔ)成為首選，這能有效保障業(yè)務(wù)的物理穩(wěn)定特性。出于數(shù)據(jù)安全備份的考慮，配置大存儲(chǔ)容量6TB存儲(chǔ)空間服務(wù)器作為虛擬機(jī)的備份服務(wù)器，可以保證在光纖存儲(chǔ)故障時(shí)或維護(hù)時(shí)的業(yè)務(wù)連續(xù)性，并對(duì)客戶的應(yīng)用數(shù)據(jù)也做到了統(tǒng)一備份。為了保障業(yè)務(wù)運(yùn)行的高性能、可持續(xù)性和可擴(kuò)展性，我們選擇了IP-SAN的存儲(chǔ)模式，通過串口線連接磁盤與控制器。云計(jì)算計(jì)算節(jié)點(diǎn)服務(wù)器通過交換機(jī)連接存儲(chǔ)設(shè)備，實(shí)現(xiàn)數(shù)據(jù)鏈路的高品質(zhì)性能保障。
在數(shù)據(jù)的統(tǒng)一備份處理上，基于虛擬機(jī)文件駐留在共享SAN存儲(chǔ)上，可以使用存儲(chǔ)區(qū)的映像來(lái)備份虛擬機(jī)文件，這樣做不會(huì)在運(yùn)行虛擬機(jī)的云計(jì)算計(jì)算節(jié)點(diǎn)主機(jī)上引起任何額外的負(fù)載。統(tǒng)一備份功能可以滿足縮短虛擬機(jī)的備份時(shí)間，移除客戶應(yīng)用服務(wù)器上的備份工作負(fù)載，以及從中央服務(wù)器中執(zhí)行備份的工作。其工作流程是從運(yùn)作中的主機(jī)上剝離磁盤，將磁盤鏈接到專用的統(tǒng)一備份服務(wù)器上，然后備份磁盤中適當(dāng)?shù)奈募?，此時(shí)原始主機(jī)仍能看到該磁盤并能正常工作。通過有效利用虛擬機(jī)存儲(chǔ)區(qū)的映象文件，高效地保障客戶數(shù)據(jù)安全。
3.3 網(wǎng)絡(luò)設(shè)備
云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)需實(shí)現(xiàn)雙鏈路可靠冗余連接、負(fù)載均衡，充分考慮網(wǎng)絡(luò)的可管理性。本方案采用兩臺(tái)DLINK交換機(jī)實(shí)現(xiàn)設(shè)備冗余，同時(shí)通過實(shí)現(xiàn)網(wǎng)絡(luò)虛擬化來(lái)保證網(wǎng)絡(luò)策略安全，使之不受虛擬機(jī)位置遷移的影響。
3.4 云平臺(tái)管理
云管理平臺(tái)是負(fù)責(zé)整個(gè)數(shù)據(jù)中心的資源池管理、是實(shí)現(xiàn)IAAS的關(guān)鍵環(huán)節(jié)。本方案采用VMware公司的Vcenter軟件，與其他的管理軟件相比，該軟件的使用為IT管理者大大降低了云計(jì)算虛擬環(huán)境管理的難度。
該云平臺(tái)是目前最強(qiáng)大的虛擬環(huán)境管理平臺(tái)，它能提高在虛擬基礎(chǔ)架構(gòu)每個(gè)級(jí)別上的集中控制和可見性，無(wú)論是幾十臺(tái)還是幾千臺(tái)虛擬機(jī)，都能集中、簡(jiǎn)單地管理。它可以通過使用向?qū)Щ蛘吣０?，在幾分鐘?nèi)創(chuàng)建新的虛擬機(jī)或主機(jī)，最大限度地減少錯(cuò)誤和停機(jī)；它還可以借用DRS（vsphere Distributed Resources Scheduler） 持續(xù)監(jiān)控各個(gè)資源池的使用情況。此外，借助vCenter API和.NET可實(shí)現(xiàn)vCenter Server和其他工具的集成，并且支持在vSphere Client中嵌入自定義插件，為管理IT環(huán)境提供選擇自由。
4 結(jié)束語(yǔ)
目前，基于云計(jì)算的橋梁安全與健康監(jiān)測(cè)數(shù)據(jù)中心建設(shè)還處在初級(jí)階段，隨著橋梁安全監(jiān)測(cè)技術(shù)和云計(jì)算技術(shù)的發(fā)展，云計(jì)算數(shù)據(jù)中心會(huì)逐漸形成系統(tǒng)化、網(wǎng)絡(luò)化的全國(guó)性的橋梁安全與健康監(jiān)測(cè)平臺(tái)。該平臺(tái)能面向所有橋梁行業(yè)的客戶，提供存儲(chǔ)空間及橋梁安全與健康監(jiān)測(cè)服務(wù)；同時(shí)還能根據(jù)存儲(chǔ)的大量橋梁相關(guān)數(shù)據(jù)，進(jìn)行數(shù)據(jù)挖掘及數(shù)據(jù)分析，在橋梁學(xué)術(shù)研究方面具有重要意義。
基于云計(jì)算的數(shù)據(jù)中心建設(shè)是一個(gè)復(fù)雜的系統(tǒng)工程，本文著重從橋梁安全監(jiān)測(cè)數(shù)據(jù)中心的關(guān)鍵技術(shù)方面闡述了系統(tǒng)基礎(chǔ)架構(gòu)，以及關(guān)鍵設(shè)備和軟件的選型，希望能為其他行業(yè)數(shù)據(jù)中心的建設(shè)提供一些參考。
參考文獻(xiàn)：
[1] 林小村.數(shù)據(jù)中心建設(shè)與運(yùn)行管理[M].科學(xué)出版社，2010.
[2] 劉鵬.云計(jì)算[M].電子工業(yè)出版社，2011.
[3] MELL P， GRANCE T. The NIST Definition of Cloud Computing[R].
National Institute of Standards and Technology， SP800-145， Gaithersburg：U.S Dept. of Commerce，2011.
[4] 國(guó)家科學(xué)技術(shù)部.中國(guó)云科技發(fā)展"十二五"專項(xiàng)規(guī)劃[EB/01].
/tztg/201209/W020120918516104069531.doc，2012
[5] 工業(yè)和信息化部電信研究院.云計(jì)算白皮書（2012）[M].工業(yè)和信息化
部電信研究院，2012.
[6] 田冠華，孟丹，詹劍鋒.云計(jì)算環(huán)境下基于失效規(guī)則的資源動(dòng)態(tài)提供
策略[J].計(jì)算機(jī)學(xué)報(bào)，2010.33（10）：1859-1872
[7] 朱仕村，張宇峰，張立濤，朱曉文，胡云輝.面向長(zhǎng)大橋梁結(jié)構(gòu)健康監(jiān)測(cè)
物聯(lián)網(wǎng)的云計(jì)算[J].現(xiàn)代交通技術(shù)，2011.8（1）：24-27
[8] 孟凡立，徐明，張慰.基于云計(jì)算的高校數(shù)據(jù)中心設(shè)計(jì)與實(shí)現(xiàn)[J].現(xiàn)代
教育技術(shù)，2012.22（3）：99-103
[9] 楊望仙，朱定局，謝毅，范朝冬.虛擬化技術(shù)在云計(jì)算中的研究進(jìn)展[J].
先進(jìn)技術(shù)研究通報(bào)，2010.4（8）：5-10
關(guān)鍵詞：銀行業(yè)務(wù) ；批處理流程；Hadoop MapReduce ；云計(jì)算
中圖分類號(hào)：TP302文獻(xiàn)標(biāo)識(shí)碼：A文章編號(hào)文章編號(hào)：16727800（2013）0010000104
作者簡(jiǎn)介：趙曦（1971-），男，博士，上海金融學(xué)院信息管理學(xué)院副教授，研究方向?yàn)榛ヂ?lián)網(wǎng)金融應(yīng)用。
0引言
隨著大型商業(yè)銀行業(yè)務(wù)規(guī)模的擴(kuò)大和信息技術(shù)的發(fā)展， 數(shù)據(jù)中心已經(jīng)成為大型商業(yè)銀行業(yè)務(wù)系統(tǒng)與數(shù)據(jù)資源進(jìn)行集中業(yè)務(wù)處理的樞紐，匯集了規(guī)?；腎T計(jì)算、存儲(chǔ)和網(wǎng)絡(luò)資源。
銀行主要承擔(dān)本外幣儲(chǔ)蓄、信用卡、對(duì)公存貸款業(yè)務(wù)，銀行匯票及聯(lián)行業(yè)務(wù)，國(guó)際結(jié)算和外匯買賣，代收代付等業(yè)務(wù) [1]。銀行業(yè)以網(wǎng)絡(luò)和信息技術(shù)作為其業(yè)務(wù)處理的核心支撐，形成了前端業(yè)務(wù)信息采集、中端數(shù)據(jù)交換和數(shù)據(jù)中心處理“分布采集、集中處理”模式。隨著業(yè)務(wù)量的增加和金融新產(chǎn)品的涌現(xiàn)，業(yè)務(wù)管理和信息處理“大集中”后對(duì)流程處理效率、系統(tǒng)擴(kuò)展性和數(shù)據(jù)存儲(chǔ)可靠性提出了更高的要求。金融行業(yè)特別是銀行業(yè)在處理在線聯(lián)機(jī)業(yè)務(wù)（online transaction）的同時(shí)，還需要處理大量的離線批處理業(yè)務(wù)（batch processing），如影像文件處理、票據(jù)結(jié)算、外匯清算、薪資、各類報(bào)表，批處理業(yè)務(wù)具有數(shù)據(jù)量大、占用計(jì)算資源多、限時(shí)處理完成的特點(diǎn)，銀行信息中心通常要配備足夠的資源在特定時(shí)間段（夜間、周末、月末）進(jìn)行批量業(yè)務(wù)數(shù)據(jù)處理。如何提高批處理業(yè)務(wù)能力、合理配置計(jì)算資源是銀行信息中心不斷要面對(duì)的挑戰(zhàn)。
以計(jì)算資源和服務(wù)虛擬化為核心的云計(jì)算架構(gòu)和技術(shù)得到了廣泛的認(rèn)同，正在成為IT產(chǎn)業(yè)和信息化應(yīng)用系統(tǒng)架構(gòu)的發(fā)展趨勢(shì)，實(shí)踐表明，基于云計(jì)算架構(gòu)的系統(tǒng)在資源利用、服務(wù)效率、運(yùn)行成本及能源消耗方面具有明顯的優(yōu)勢(shì)。
本文提出了一種應(yīng)對(duì)批量業(yè)務(wù)流程處理的優(yōu)化方法，基本原理是將業(yè)務(wù)流程的任務(wù)節(jié)點(diǎn)進(jìn)行分解和分類，形成流程隊(duì)列和若干可以進(jìn)行并行處理分類任務(wù)隊(duì)列，使用Hadoop MapReduce并行計(jì)算框架進(jìn)行并行處理，MapReduce提供的資源調(diào)度和容錯(cuò)機(jī)制能夠有效提高業(yè)務(wù)處理系統(tǒng)的可擴(kuò)展性和穩(wěn)定性。模擬實(shí)驗(yàn)表明，流程任務(wù)分解優(yōu)化方法比通常的以流程為處理單元的方式具有一定的優(yōu)勢(shì)，可以在云計(jì)算環(huán)境下分組處理具有共同特征的計(jì)算和操作任務(wù)，實(shí)現(xiàn)優(yōu)化資源調(diào)配，提高批量業(yè)務(wù)處理的效率。
1批處理業(yè)務(wù)流程優(yōu)化
批量業(yè)務(wù)處理是指一組遵循同一處理流程的重復(fù)操作，而涉及的業(yè)務(wù)流程是一組將輸入轉(zhuǎn)化為輸出的相互關(guān)聯(lián)或相互作用的活動(dòng)，活動(dòng)之間不僅有嚴(yán)格的先后順序限定，而且活動(dòng)的內(nèi)容、方式、責(zé)任等也都必須有明確的安排和界定，以使不同活動(dòng)在不同角色之間進(jìn)行交接成為可能，批量處理業(yè)務(wù)流程活動(dòng)之間的轉(zhuǎn)移不需要人工干預(yù)。處理流程中的活動(dòng)根據(jù)數(shù)據(jù)處理的要求和特點(diǎn)進(jìn)行設(shè)計(jì)，如先進(jìn)行數(shù)據(jù)核對(duì)，然后進(jìn)行計(jì)算，最后進(jìn)行賬戶操作，每個(gè)活動(dòng)會(huì)產(chǎn)生臨時(shí)數(shù)據(jù)。為了提高處理能力和資源使用效率，流程活動(dòng)設(shè)計(jì)盡可能遵循以下幾個(gè)原則：
①獨(dú)立于其它流程和活動(dòng)，可進(jìn)行重復(fù)操作；②使用較少類別的計(jì)算資源，CPU、網(wǎng)絡(luò)、存儲(chǔ)；③能夠進(jìn)行并行處理。
圖1示意了批量流程處理的原理，銀行信息中心在每個(gè)批處理周期安排若干批處理的規(guī)劃，配置計(jì)算資源，啟動(dòng)和監(jiān)控批處理過程。每個(gè)批處理中包括對(duì)應(yīng)同一處理流程的批量處理任務(wù)。
銀行信息中心根據(jù)資源配置情況，安排批處理規(guī)劃中的批處理執(zhí)行，可以做到并行處理，以滿足處理時(shí)限的要求，每個(gè)批處理分配固定的或虛擬化的資源（服務(wù)器、CPU、存儲(chǔ)、外設(shè)），當(dāng)現(xiàn)有資源不能滿足批處理要求時(shí)，則需要不斷增加資源。這種以批處理流程為單位來(lái)決定資源配置的模式（圖2）不一定能夠確保資源的高效使用，如：需要大量CPU計(jì)算的流程同時(shí)配置I/O性能較高的資源，造成I/O資源的浪費(fèi)。經(jīng)過分析，可以通過優(yōu)化批處理業(yè)務(wù)流程和操作來(lái)進(jìn)行改進(jìn)（圖3），以進(jìn)一步提高資源的使用效率。
以優(yōu)化流程任務(wù)作為并行計(jì)算單元，形成批量處理任務(wù)隊(duì)列，根據(jù)任務(wù)操作的類型來(lái)分配最適合的資源，理論上提高了資源配置的精細(xì)程度，有助于提高資源使用效率。
2基于MapReduce的批處理優(yōu)化計(jì)算
為了驗(yàn)證提出的以流程任務(wù)為基礎(chǔ)配置資源的批處理運(yùn)算架構(gòu)（圖3），我們搭建了Hadoop/MapReduce并行計(jì)算實(shí)驗(yàn)環(huán)境，通過模擬批處理業(yè)務(wù)，對(duì)兩種資源配置模式進(jìn)行比較。
Hadoop[6]云計(jì)算平臺(tái)的核心由HDFS分布存儲(chǔ)和映射機(jī)制及MapReduce并行計(jì)算架構(gòu)組成，具有開放性、穩(wěn)定性和擴(kuò)展性方面的優(yōu)勢(shì)，成為了云計(jì)算研究和應(yīng)用的重要平臺(tái)之一，其架構(gòu)與提出的批處理流程優(yōu)化模型吻合程度高。
MapReduce[8]通過兩個(gè)函數(shù)Map和Reduce提供并行計(jì)算框架， 將計(jì)算任務(wù)（Job）分解為可以進(jìn)行獨(dú)立和并行計(jì)算操作集合（Tasks），提交給Map函數(shù)處理，而Reduce函數(shù)收集、整理、排序Map函數(shù)的計(jì)算結(jié)果。其基本功能是按一定的映射規(guī)則將輸入的 （k1，v1）鍵值對(duì)轉(zhuǎn)換成另一個(gè)或一批list（k2，v2）對(duì)輸出，而Reduce將一個(gè)或多個(gè)Map輸出的list（k2，v2）轉(zhuǎn)換為新的鍵值對(duì)list（k3，v3），作為任務(wù)計(jì)算的輸出[2]。
一種基于C++的腳本語(yǔ)言和解釋器封裝了實(shí)現(xiàn)上述功能的基本功能函數(shù)，用來(lái)描述任務(wù)的執(zhí)行操作。根據(jù)上述模擬批次規(guī)劃和流程節(jié)點(diǎn)類型，得出計(jì)算隊(duì)列表。
硬件計(jì)算架構(gòu)使用5臺(tái)Ubantu Linux服務(wù)器提供Hadoop MapReduce并行計(jì)算平臺(tái)，1個(gè)NameNode和4個(gè)DataNode，網(wǎng)絡(luò)環(huán)境為100M局域網(wǎng)，通過SSH實(shí)現(xiàn)服務(wù)器之間的連接、控制和HDFS數(shù)據(jù)復(fù)制，流程和任務(wù)隊(duì)列管理程序運(yùn)行在NameNode上，Map和Reduce實(shí)現(xiàn)分布在DateNode上。圖7所示為流程優(yōu)化模擬架構(gòu)。
平臺(tái)模擬了以業(yè)務(wù)流程為處理單元和任務(wù)分解優(yōu)化兩種計(jì)算架構(gòu)，使用同樣的模擬流程和數(shù)據(jù)，同時(shí)檢測(cè)了當(dāng)一個(gè)DateNote服務(wù)器宕機(jī)時(shí)的任務(wù)容錯(cuò)機(jī)制和性能，表4匯總模擬運(yùn)行的比較數(shù)據(jù)。
圖7Haddop MapReduce流程優(yōu)化模擬系統(tǒng)架構(gòu)
流程最短處理時(shí)間指流程任務(wù)按照關(guān)鍵邏輯路徑執(zhí)行需要的累計(jì)時(shí)間，當(dāng)一個(gè)任務(wù)處理完成后才能激活后續(xù)節(jié)點(diǎn)任務(wù)。以流程為單位的隊(duì)列處理模式在4個(gè)DataNode平均分配流程，每個(gè)DataNode處理的流程數(shù)量幾乎均等，資源的使用率也相同。任務(wù)優(yōu)化分解方法形成了7個(gè)任務(wù)隊(duì)列，DateNode資源分配按照優(yōu)先資源對(duì)照表3進(jìn)行。
流程平均處理時(shí)間指進(jìn)入流程隊(duì)列到所有任務(wù)處理完畢的時(shí)間，包括等待和任務(wù)處理時(shí)間，資源使用差異指CPU和I/O在高度使用和過度空閑的比例關(guān)系。
根據(jù)實(shí)驗(yàn)平臺(tái)記錄的運(yùn)行數(shù)據(jù)，在同樣的批處理流程和硬件架構(gòu)條件下，使用業(yè)務(wù)流程分解優(yōu)化的并行計(jì)算能夠處理更多的事務(wù)（320min對(duì)比430min），資源的使用效率得到提高（54%對(duì)比31%），即使考慮到流程分解和多個(gè)任務(wù)隊(duì)列管理的額外開銷，運(yùn)行結(jié)果還是表明了所提出方法的優(yōu)勢(shì)，為進(jìn)一步深入研究和完善提供了基礎(chǔ)。
3結(jié)語(yǔ)
銀行批處理“大集中”后，其數(shù)量和規(guī)模不斷擴(kuò)大，銀行信息中心不斷面臨IT資源優(yōu)化和靈活配置的挑戰(zhàn)，一方面要提升IT架構(gòu)的資源數(shù)量和技術(shù)水平，另一方面要優(yōu)化批處理的模式來(lái)更有效地利用IT資源（計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)、I/O）。
云計(jì)算技術(shù)的研究和應(yīng)用成為了IT產(chǎn)業(yè)發(fā)展的一個(gè)重要方向，基于云計(jì)算架構(gòu)的系統(tǒng)在資源利用、服務(wù)效率、運(yùn)行成本及能源消耗方面具有明顯的優(yōu)勢(shì)。云計(jì)算架構(gòu)的出現(xiàn)也引發(fā)了在信息系統(tǒng)設(shè)計(jì)、功能開發(fā)和維護(hù)服務(wù)的巨大變化。作為以信息化技術(shù)作為重要支撐的銀行業(yè)，正在逐步嘗試和分享云計(jì)算帶來(lái)的各種優(yōu)勢(shì)。本文在此背景下，提出了一種針對(duì)銀行批處理業(yè)務(wù)的優(yōu)化流程分解方法。
業(yè)務(wù)流程分解優(yōu)化方法通過對(duì)流程任務(wù)分組，可以為實(shí)時(shí)處理大批量流程的應(yīng)用領(lǐng)域（銀行、證券、保險(xiǎn)、電子商務(wù)）提高處理效率，MapReduce原理為流程節(jié)點(diǎn)處理提供了并行計(jì)算框架，其調(diào)度和容錯(cuò)機(jī)制可以實(shí)現(xiàn)系統(tǒng)計(jì)算資源的高擴(kuò)展性和穩(wěn)定性。模擬實(shí)驗(yàn)表明，本文介紹的基于并行計(jì)算的優(yōu)化流程分解方法比以整個(gè)批量處理流程為處理單元的方法在效率、架構(gòu)和靈活性方面具有一定的優(yōu)勢(shì)。下一個(gè)階段，擬將該方法進(jìn)一步完善，在銀行等典型批處理業(yè)務(wù)應(yīng)用領(lǐng)域進(jìn)行深化和拓展。
參考文獻(xiàn)：
[1]李得仁.銀行批量業(yè)務(wù)后臺(tái)集中處理模式的實(shí)現(xiàn)[J].中國(guó)金融電腦 ，2012（11）.
[2]李成華.MapReduce：新型的分布式并行計(jì)算編程模型[J].計(jì)算機(jī)工程與科學(xué)， 2011（3）.
[3]楊志豪.一種適應(yīng)數(shù)據(jù)與計(jì)算密集型任務(wù)的私有云系統(tǒng)實(shí)現(xiàn)研究[J].計(jì)算機(jī)應(yīng)用研究 ， 2011（2）.
[4]易小華.面向MapReduce的數(shù)據(jù)處理流程開發(fā)方法[J].計(jì)算機(jī)科學(xué)與探索，2011（2）.
[5]DEAN J， GHEMAWAT S. MapReduce： simplified data processing on large clusters[J].Communications of the ACM，2008， 51（1）： 107113.
[6]Welcome to Hadoop MapReduce[EB/OL].http：///mapreduce/.
【關(guān)鍵詞】云計(jì)算；云基礎(chǔ)架構(gòu)；虛擬化技術(shù)；分布式存儲(chǔ)系統(tǒng)；并行編程模型
1.引言
自新千年IT業(yè)引入云計(jì)算概念以來(lái)，通過廣大的市場(chǎng)需求及雄厚的技術(shù)支持，大規(guī)模云計(jì)算系統(tǒng)已成為當(dāng)今IT業(yè)發(fā)展的主流。實(shí)現(xiàn)云計(jì)算的基礎(chǔ)是實(shí)現(xiàn)云計(jì)算系統(tǒng)基礎(chǔ)架構(gòu)。一個(gè)云計(jì)算系統(tǒng)的優(yōu)秀與否，關(guān)鍵在于其基礎(chǔ)架構(gòu)是否能夠穩(wěn)定、高效地完成各項(xiàng)任務(wù)。本文試圖結(jié)合相關(guān)資料，對(duì)云基礎(chǔ)架構(gòu)及其效能進(jìn)行分析、定義及具體闡述，為下一步研究提供有力參考。
2.云計(jì)算簡(jiǎn)介
云計(jì)算的迅猛發(fā)展與廣大的市場(chǎng)需求和強(qiáng)大的技術(shù)支撐密切相關(guān)。首先，隨著IT業(yè)的迅猛發(fā)展，各IT運(yùn)營(yíng)商都形成了各自龐大的服務(wù)器集群。如何實(shí)現(xiàn)現(xiàn)有集群的重新整合以降低運(yùn)維成本，提高效率成為運(yùn)營(yíng)商考慮的首要問題；另外，IT市場(chǎng)的迅猛發(fā)展也要求各運(yùn)營(yíng)商提供更加穩(wěn)定、快捷的服務(wù)。其次，分布式系統(tǒng)、虛擬化技術(shù)的不斷發(fā)展完善，使得服務(wù)集群性能的快速提升成為可能。所以，在上述兩方面原因的相互作用下，云計(jì)算得到了前所未有的發(fā)展。
目前，不同公司對(duì)云計(jì)算有著不同的理解和實(shí)現(xiàn)方式。通過對(duì)現(xiàn)有云計(jì)算系統(tǒng)的分析及對(duì)相關(guān)資料的研究[1—5]，本文認(rèn)為云計(jì)算是以商業(yè)需要為出發(fā)點(diǎn)，將數(shù)量龐大的服務(wù)器集群整合成為分布式的資源池，通過虛擬化技術(shù)、Web2.0技術(shù)將資源池強(qiáng)大的計(jì)算能力、存儲(chǔ)能力和構(gòu)建在其基礎(chǔ)之上的各類應(yīng)用以按需計(jì)費(fèi)的形式從不同的層次（Infrastructure、Platform、Application）租賃給用戶的一種新型網(wǎng)絡(luò)運(yùn)營(yíng)模式。
由上述定義可得到云計(jì)算體系結(jié)構(gòu)如圖1。
由圖可知，云計(jì)算基礎(chǔ)架構(gòu)位于云計(jì)算系統(tǒng)的底層，它為云計(jì)算系統(tǒng)的出色運(yùn)營(yíng)提供了有力的支持。
3.云計(jì)算基礎(chǔ)架構(gòu)
3.1 云計(jì)算基礎(chǔ)架構(gòu)的定義
目前，業(yè)界及學(xué)術(shù)界對(duì)云計(jì)算基礎(chǔ)架構(gòu)還沒有一個(gè)統(tǒng)一的定義利標(biāo)準(zhǔn)。各IT運(yùn)營(yíng)商均根據(jù)自身的實(shí)際情況，以各自的理解定義和實(shí)現(xiàn)云計(jì)算基礎(chǔ)架構(gòu)的部署。理工大學(xué)教授劉鵬在其著作《云計(jì)算》中提出：云基礎(chǔ)架構(gòu)及管理層由數(shù)據(jù)中心與云基礎(chǔ)架構(gòu)、安全產(chǎn)品、基礎(chǔ)架構(gòu)和運(yùn)營(yíng)管理三大部分組成[3]。作為虛擬化技術(shù)的龍頭，Vmware公司在談到其云基礎(chǔ)架構(gòu)層產(chǎn)品時(shí)說道：云計(jì)算基礎(chǔ)架構(gòu)是指通過虛擬化技術(shù)將傳統(tǒng)數(shù)據(jù)中心轉(zhuǎn)變?yōu)樵苹A(chǔ)架構(gòu)并在其之上創(chuàng)建云，將IT基礎(chǔ)架構(gòu)作為服務(wù)交付給客戶使用[6]。Lenk等人在其文章談及云計(jì)算基礎(chǔ)設(shè)施層時(shí)也指出：云基礎(chǔ)架構(gòu)可劃分為基礎(chǔ)設(shè)施服務(wù)和資源集兩大部分，其中資源集可分為虛擬資源集和物力資源集；而基礎(chǔ)設(shè)施服務(wù)又分為高級(jí)基礎(chǔ)設(shè)施服務(wù)、基本基礎(chǔ)設(shè)施服務(wù)、計(jì)算服務(wù)、存儲(chǔ)服務(wù)和網(wǎng)絡(luò)服務(wù)[7]。
通過對(duì)現(xiàn)有云基礎(chǔ)架構(gòu)以及對(duì)相關(guān)文獻(xiàn)資料的研究，本文認(rèn)為云計(jì)算基礎(chǔ)架構(gòu)是指由硬件資源（PC服務(wù)器、磁盤陣列、路由器、交換機(jī)及相關(guān)配套設(shè)備）組成，通過虛擬化技術(shù)、分布式并行技術(shù)整合形成的用以直接對(duì)外提供存儲(chǔ)、計(jì)算服務(wù)或作為基礎(chǔ)設(shè)施為上層云計(jì)算應(yīng)用提供存儲(chǔ)、計(jì)算能力支撐的一種高效、可靠并且具有良好擴(kuò)展性的底層分布式系統(tǒng)。
3.2 云計(jì)算基礎(chǔ)架構(gòu)的分類
通過分析研究現(xiàn)有云計(jì)算系統(tǒng)及相關(guān)[8—12]，本文認(rèn)為云基礎(chǔ)架構(gòu)按照服務(wù)的對(duì)象可分為基礎(chǔ)型云基礎(chǔ)架構(gòu)和外向型云基礎(chǔ)架構(gòu)：基礎(chǔ)型云基礎(chǔ)架構(gòu)指主要向運(yùn)系統(tǒng)上層提供計(jì)算、存儲(chǔ)資源服務(wù)的云基礎(chǔ)架構(gòu)，基礎(chǔ)型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有：TFS、GFS、Cassandra、KIDC；外向型云基礎(chǔ)架構(gòu)指直接向用戶提供計(jì)算、存儲(chǔ)資源服務(wù)的云基礎(chǔ)架構(gòu)，外向型云基礎(chǔ)架構(gòu)的代表系統(tǒng)有：IBM Ensembles、Amazon EC2、Amazon S3、HyperCloud、Megastore。
3.3 云基礎(chǔ)架構(gòu)的結(jié)構(gòu)體系
通過對(duì)當(dāng)前業(yè)界主流云基礎(chǔ)架構(gòu)系統(tǒng)的分析和對(duì)相關(guān)學(xué)術(shù)成果的研究，可以看出云基礎(chǔ)架構(gòu)的作用是通過將物理資源轉(zhuǎn)化為虛擬資源池，實(shí)現(xiàn)對(duì)資源的監(jiān)控、調(diào)度和管理以達(dá)到為上層應(yīng)用和用戶提供彈性的計(jì)算和存儲(chǔ)資源的目的。云基礎(chǔ)架構(gòu)結(jié)構(gòu)框架如圖2。
由此本文將云基礎(chǔ)架構(gòu)分為以下五個(gè)層次：
1）物理層是指搭建、部署云基礎(chǔ)架構(gòu)所需的物理設(shè)備和配套環(huán)境。起作用時(shí)為云基礎(chǔ)架構(gòu)提供基本的物力資源，并保持物理設(shè)備的可靠性。
2）虛擬層是指通過虛擬化技術(shù)解除實(shí)現(xiàn)方式、地理位置或底層物理配置對(duì)計(jì)算機(jī)資源的限制，打破上層與物力資源之間的耦合關(guān)系，形成統(tǒng)一的虛擬資源。虛擬層的作用是為上層提供可靠且能夠靈活按需分配的虛擬資源。虛擬層由虛擬計(jì)算資源、虛擬存儲(chǔ)資源和虛擬網(wǎng)絡(luò)資源組成。
3）數(shù)據(jù)層是指對(duì)云基礎(chǔ)架構(gòu)內(nèi)運(yùn)行的客戶數(shù)據(jù)進(jìn)行基本操作和管理的層次。數(shù)據(jù)層主要包含兩個(gè)部分，既數(shù)據(jù)處理與數(shù)據(jù)管理。
4）管理層是整個(gè)云基礎(chǔ)架構(gòu)中的一個(gè)抽象層次。它對(duì)云基礎(chǔ)架構(gòu)的各類資源進(jìn)行監(jiān)控，根據(jù)實(shí)際負(fù)載狀況對(duì)資源進(jìn)行管理和調(diào)度并且根據(jù)上層需求對(duì)資源進(jìn)行快速部署，以保證云基礎(chǔ)架構(gòu)高效運(yùn)行。云基礎(chǔ)架構(gòu)管理層主要由資源監(jiān)控、負(fù)載管理、資源部署和安全管理四個(gè)部分組成。
5）服務(wù)層是指為上層云計(jì)算應(yīng)用調(diào)用云基礎(chǔ)架構(gòu)計(jì)算、存儲(chǔ)資源預(yù)留的接口和對(duì)用戶使用云基礎(chǔ)架構(gòu)計(jì)算、存儲(chǔ)資源提供的交互界面。服務(wù)層對(duì)云基礎(chǔ)架構(gòu)效能的影響體現(xiàn)在服務(wù)層各類接口的通用性上。因?yàn)榉?wù)層接口與上層的松耦合性能夠減小底層云基礎(chǔ)架構(gòu)對(duì)上層應(yīng)用的限制，從而提高云基礎(chǔ)架構(gòu)自身的可用性。
3.4 云基礎(chǔ)架構(gòu)實(shí)現(xiàn)的主要技術(shù)
3.4.1 虛擬化技術(shù)
虛擬化是表示計(jì)算機(jī)資源的一種抽象方法。通過虛擬化，可以簡(jiǎn)化基礎(chǔ)設(shè)施、系統(tǒng)和軟件等計(jì)算機(jī)資源的表示、訪問和管理，并為這些資源提供標(biāo)準(zhǔn)的接口來(lái)接受輸入和提供輸出[2]。通過虛擬化技術(shù)，可以實(shí)現(xiàn)在一臺(tái)服務(wù)器上運(yùn)行多個(gè)虛擬機(jī)，從而提供服務(wù)器的效率。由于絕大部分PC產(chǎn)品均屬于X86架構(gòu)，所以本文論述的虛擬化技術(shù)主要指X86架構(gòu)的虛擬化技術(shù)。當(dāng)前X86虛擬化技術(shù)的主流產(chǎn)品是VMware的VMware vSphere。
vSphere主要用于服務(wù)器的虛擬化，即在一臺(tái)物理服務(wù)器上運(yùn)行多臺(tái)虛擬機(jī)，以次達(dá)到服務(wù)器整合和優(yōu)化的目的。vSphere的核心是ESX架構(gòu)，它可分為兩部分：Service Console和VMKernel。其中前者提供管理服務(wù)，后者提供虛擬化能力。
隨著虛擬化技術(shù)在云計(jì)算中發(fā)展中的作用越來(lái)越重要，對(duì)虛擬化技術(shù)的研究也成為熱點(diǎn)。對(duì)虛擬資源的管理便是熱點(diǎn)之一，[13]提出將VM模型集成到資源管理框架里，利用兩極調(diào)度將VM的管理集成至批調(diào)度器里，以次為用戶提供調(diào)度服務(wù)。
當(dāng)前如Amazon EC2等云計(jì)算產(chǎn)品大多是以虛擬機(jī)的形式為用戶提供計(jì)算能力，但對(duì)于虛擬機(jī)的具體配置，需要用戶手動(dòng)完成，因此虛擬化技術(shù)在自適應(yīng)方面還需要進(jìn)一步研究。
3.4.2 分布式存儲(chǔ)系統(tǒng)
隨著IT業(yè)的發(fā)展，網(wǎng)上交易、網(wǎng)上檢索等系統(tǒng)所要處理的數(shù)據(jù)量越來(lái)越大。如何利用最低的資源成本創(chuàng)造最高的運(yùn)行效率成為各大運(yùn)營(yíng)商考慮的首要問題。因此研發(fā)人員開發(fā)完成了一系列分布式存儲(chǔ)系統(tǒng)，為云計(jì)算提供了強(qiáng)有力的后盾。
分布式存儲(chǔ)系統(tǒng)研發(fā)目的是為云基礎(chǔ)架構(gòu)提供高效、海量的數(shù)據(jù)存儲(chǔ)能力。各大運(yùn)營(yíng)商在搭建自己的云基礎(chǔ)架構(gòu)前都會(huì)開發(fā)自己的分布式存儲(chǔ)系統(tǒng)如Google的GFS分布式文件系統(tǒng)。Google的GFS（Google File System）[14]是Google研發(fā)完成的作用于底層的分布式文件系統(tǒng)。GFS的作用是為大規(guī)模分布式應(yīng)用系統(tǒng)提供強(qiáng)大的數(shù)據(jù)存儲(chǔ)服務(wù)。GFS的核心設(shè)計(jì)思路是將系統(tǒng)故障當(dāng)作一種常態(tài)來(lái)處理，實(shí)現(xiàn)這一思路的技術(shù)主要是提供多個(gè)副本進(jìn)行操作。在接口方面GFS除提供基本的Creat、Delete、Open、Close、Read、Write外還提供Snapshot和記錄追加兩項(xiàng)操作。Snapshot以最低的開銷創(chuàng)建一個(gè)文件或目錄副本，記錄追加則保證多客戶同時(shí)對(duì)文件進(jìn)行數(shù)據(jù)追加時(shí)的原子性和正確性。
GFS含有一個(gè)主控服務(wù)器（Master）和多個(gè)塊服務(wù)器（Chunk Server）。一份文件由設(shè)備經(jīng)接口，會(huì)被分為有限個(gè)數(shù)據(jù)塊（每個(gè)數(shù)據(jù)塊64MB）。此外，每個(gè)數(shù)據(jù)塊都會(huì)產(chǎn)生一個(gè)元數(shù)據(jù)（
當(dāng)前分布式存儲(chǔ)系統(tǒng)已成為云基礎(chǔ)架構(gòu)重要組成之一。在學(xué)術(shù)界，對(duì)分布式存儲(chǔ)系統(tǒng)的研究逐漸成為熱點(diǎn)。[11]提出并實(shí)現(xiàn)了一種對(duì)等結(jié)構(gòu)分布式存儲(chǔ)系統(tǒng)NDSS，該系統(tǒng)取消了類似GFS中主控服務(wù)器的中心節(jié)點(diǎn)，而是利用分布式共享內(nèi)存（DSM，Distributed Shared Memory）實(shí)現(xiàn)了數(shù)據(jù)一致性模塊，利用分布式共享位圖（DSB，Distributed Shared Bitmap）限制了多個(gè)節(jié)點(diǎn)對(duì)信息的同時(shí)訪問，解決了同步訪問控制問題。以此在對(duì)等節(jié)點(diǎn)中完成了中心節(jié)點(diǎn)的主要功能。從測(cè)試結(jié)果看，NDSS系統(tǒng)的整體性能優(yōu)于有中心節(jié)點(diǎn)的YNS系統(tǒng)[10]。
目前，云基礎(chǔ)架構(gòu)中著名的分布式存儲(chǔ)系統(tǒng)還有Google的Bigtable分布式存儲(chǔ)系統(tǒng)和Amazon的Dynamo分布式數(shù)據(jù)存儲(chǔ)中心[11]等。它們雖然為云基礎(chǔ)架構(gòu)提供了強(qiáng)大的動(dòng)力，但仍有改進(jìn)之處。
3.4.3 并行編程模型
并行編程模型是云計(jì)算中的一個(gè)重要概念。它是指系統(tǒng)為高效并行處理海量數(shù)據(jù)而設(shè)定的一組數(shù)據(jù)處理規(guī)則。研發(fā)人員為了解決輸入數(shù)據(jù)的并行計(jì)算、分發(fā)數(shù)據(jù)等問題提出了并行編程模型的概念。
MapReduce是Google公司開發(fā)的一種新的抽象模型，也是當(dāng)前起主導(dǎo)作用的編程模型。它的設(shè)計(jì)思路來(lái)源于函數(shù)式編程語(yǔ)言的映射和簡(jiǎn)化操作[1]。MapReduce的核心思想是將數(shù)據(jù)邏輯列表通過Map函數(shù)處理成為鍵值對(duì)集（），經(jīng)過排序?qū)⒕哂邢嗤琄ey值的鍵值對(duì)放在一起后通過Reduce函數(shù)將具有相同Key值的鍵值對(duì)的Value值進(jìn)行合并。
當(dāng)前對(duì)并行編程模型的研究大多以在MapReduce的基礎(chǔ)上提出改進(jìn)方案為主。在文獻(xiàn)[15]中。Zaharia等人根據(jù)MapReduce建立在系統(tǒng)同構(gòu)的假設(shè)基礎(chǔ)上，提出了LATE（Longest Approximate Time to End）調(diào)度算法。通過新型調(diào)度算法的改進(jìn)使得MapReduce在異構(gòu)環(huán)境下運(yùn)行。
雖然現(xiàn)行并行編程模型為云計(jì)算提供了強(qiáng)大的技術(shù)支持，在某些具體情況的適用性上還需進(jìn)一步的完善。
4.結(jié)論與展望
當(dāng)前對(duì)云基礎(chǔ)架構(gòu)的研究主要集中在業(yè)界IT運(yùn)營(yíng)商，在學(xué)術(shù)界對(duì)云計(jì)算基礎(chǔ)架構(gòu)的研究主要集中在單個(gè)技術(shù)性能的改進(jìn)與提高上，明確提出云計(jì)算基礎(chǔ)架構(gòu)概念，并進(jìn)行整體性理論分析研究相對(duì)較少。本文通過分析研究現(xiàn)有云計(jì)算基礎(chǔ)架構(gòu)實(shí)例及相關(guān)文獻(xiàn)資料，提出了云計(jì)算基礎(chǔ)架構(gòu)定義，指出：云計(jì)算基礎(chǔ)架構(gòu)是指由硬件資源（PC服務(wù)器、磁盤陣列、路由器、交換機(jī)及相關(guān)配套設(shè)備）組成，通過虛擬化技術(shù)、分布式并行技術(shù)整合形成的用以直接對(duì)外提供存儲(chǔ)、計(jì)算服務(wù)或作為基礎(chǔ)設(shè)施為上層云計(jì)算應(yīng)用提供存儲(chǔ)、計(jì)算能力支撐的一種高效、可靠并且具有良好擴(kuò)展性的底層分布式系統(tǒng)。根據(jù)云計(jì)算基礎(chǔ)架構(gòu)定義，預(yù)計(jì)在今后的一段時(shí)間內(nèi)，對(duì)云計(jì)算基礎(chǔ)架構(gòu)的研究會(huì)朝著以下幾個(gè)方面進(jìn)行：
1）更加高效的數(shù)據(jù)交互體驗(yàn)。云計(jì)算基礎(chǔ)架構(gòu)為上層應(yīng)用提供存儲(chǔ)與計(jì)算能力，在此過程中必然會(huì)存在基于請(qǐng)求的數(shù)據(jù)交互過程。而數(shù)據(jù)交互的速度會(huì)直接影響用戶對(duì)云計(jì)算應(yīng)用的操作體驗(yàn)。所以對(duì)高效的數(shù)據(jù)交互地研究會(huì)成為未來(lái)云計(jì)算基礎(chǔ)架構(gòu)的研究重點(diǎn)。
2）更穩(wěn)定的系統(tǒng)運(yùn)行過程。云計(jì)算基礎(chǔ)架構(gòu)位于云計(jì)算系統(tǒng)的底層，其運(yùn)行的穩(wěn)定與否直接關(guān)系到整個(gè)云計(jì)算系統(tǒng)的運(yùn)作。盡管當(dāng)前已有多種技術(shù)手段（資源監(jiān)控技術(shù)、同步復(fù)制技術(shù)，心跳檢測(cè)技術(shù)等）來(lái)確保云計(jì)算基礎(chǔ)架構(gòu)的穩(wěn)定性。但是這些技術(shù)手段任然存在自身消耗資源過大、檢測(cè)周期與負(fù)載變化不適應(yīng)等問題。而這些問題也會(huì)在今后的云計(jì)算基礎(chǔ)架構(gòu)的研究中得到解決。所以系統(tǒng)的穩(wěn)定性也將是云計(jì)算基礎(chǔ)架構(gòu)研究的重點(diǎn)之一。
3）更靈活的系統(tǒng)擴(kuò)展。隨著數(shù)據(jù)量的增加，云計(jì)算基礎(chǔ)架構(gòu)不得不面臨系統(tǒng)擴(kuò)展的問題。而實(shí)時(shí)變化的數(shù)據(jù)交互量，使得云計(jì)算基礎(chǔ)架構(gòu)在擴(kuò)展的同時(shí)更加注重?cái)U(kuò)展的靈活性。系統(tǒng)的擴(kuò)展意味著資源的擴(kuò)充，而系統(tǒng)擴(kuò)展后的資源合理分配是體現(xiàn)靈活系統(tǒng)擴(kuò)展的重要部分。當(dāng)前盡管各類云基礎(chǔ)架構(gòu)都在努力統(tǒng)一和規(guī)范各自系統(tǒng)擴(kuò)展接口并改進(jìn)資源分配方式，但資源分配是否能夠與負(fù)載變化同步依然是問題的實(shí)質(zhì)和仍未解決的問題。而這也是云計(jì)算發(fā)展的基本出發(fā)點(diǎn)和立足點(diǎn)。所以，靈活的系統(tǒng)擴(kuò)展能力是云計(jì)算基礎(chǔ)架構(gòu)未來(lái)的重要研究方向。
綜上所述，云計(jì)算基礎(chǔ)架構(gòu)是一個(gè)具有現(xiàn)實(shí)意義并充滿挑戰(zhàn)的新興領(lǐng)域，它的發(fā)展將對(duì)云計(jì)算發(fā)展產(chǎn)生巨大的推進(jìn)作用，而云計(jì)算基礎(chǔ)架構(gòu)也會(huì)在未來(lái)的發(fā)展中扮演越來(lái)越重要的角色。
參考文獻(xiàn)
[1]陸嘉恒等.分布式系統(tǒng)與云計(jì)算[M].北京：清華大學(xué)出版社，2011.5.
[2]吳朱華.云計(jì)算核心技術(shù)剖析[M].北京：人民郵電出版社，2011.5.
[3]劉鵬.云計(jì)算[M].北京：電子工業(yè)出版社，2011.7.
[4]Tim Mather，Subra Kumaraswamy，Shahed Latif著.云計(jì)算安全與隱私[M].北京：機(jī)械工業(yè)出版社，2011.5.
[5]朱近之.智慧的云計(jì)算[M].北京：電子工業(yè)出版社， 2011.4.
[6]VMware and Cloud Computing：An Evolutionary Approach to an IT Revolution.
[7]A.Lenk，M.Klems，J.Nimis，S.Tai.What is Inside the Cloud？An Architectural Map of the Cloud Landscape.http：///portal/web/csdl/doi/10.1109/CLOUD.2009.5071519.
[8]房晶，吳昊，白松林.云計(jì)算安全研究綜述[J].電信科學(xué)，2011，27（4）：37—42.
[9]陳丹偉，黃秀麗，任勛益.云計(jì)算及安全分析[A].計(jì)算機(jī)技術(shù)與發(fā)展，2010，20（2）：99—102.
[10]張建勛，古志民，鄧超.云計(jì)算研究進(jìn)展綜述[A].計(jì)算機(jī)應(yīng)用研究，2010，27（2）：429—433.
[11]吳英，謝廣軍，劉景.對(duì)等結(jié)構(gòu)的分布式存儲(chǔ)系統(tǒng)設(shè)計(jì)與研究[A].計(jì)算機(jī)工程與應(yīng)用，2006，42（4）：135—139.
[12]王剛，劉曉光，劉景.網(wǎng)絡(luò)軟RAID的設(shè)計(jì)與實(shí)現(xiàn)[J].計(jì)算機(jī)研究與發(fā)展，2000，37（增刊）：81—83.
[13]FREEMANT T，KEAHEY K.Flying low：simple lease with workspace pilot [C].//Proc of the 14th International Conference on Parallel Processing.
[14]GHEMAWAT S，GOBIOFF H，LEUNG S.The Google file system[C].//The Proceedings of the 19th Symposium on Operating Systems Principles，Lake Georage，New York，2003.
