時(shí)間:2023-07-06 16:13:29
序論:在您撰寫(xiě)網(wǎng)絡(luò)流量分析的方法時(shí),參考他人的優(yōu)秀作品可以開(kāi)闊視野,小編為您整理的7篇范文,希望這些建議能夠激發(fā)您的創(chuàng)作熱情,引導(dǎo)您走向新的創(chuàng)作高度。
關(guān)鍵詞:中小型網(wǎng)絡(luò);流量控制;方法;應(yīng)用
中圖分類(lèi)號(hào):TP393.06
近年來(lái),隨著經(jīng)濟(jì)社會(huì)的發(fā)展和科學(xué)技術(shù)的進(jìn)步,計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)得到了充分發(fā)展。在這種形勢(shì)背景下,網(wǎng)絡(luò)在人們生產(chǎn)生活中的應(yīng)用越來(lái)越廣泛,比如,我們可以通過(guò)網(wǎng)絡(luò)瀏覽網(wǎng)頁(yè)、觀看視頻、網(wǎng)上聊天以及網(wǎng)上購(gòu)物等。由此可見(jiàn),網(wǎng)絡(luò)在人們生活中發(fā)揮著重要作用。在網(wǎng)絡(luò)的運(yùn)行過(guò)程中,網(wǎng)絡(luò)流量直接關(guān)系著網(wǎng)絡(luò)的速度,對(duì)網(wǎng)絡(luò)功能的發(fā)揮具有重大意義。但是,從現(xiàn)實(shí)情況來(lái)看,在一些中小型網(wǎng)絡(luò)使用的過(guò)程中,由于服務(wù)器管理不當(dāng)、惡意程序以及P2P下載等原因,導(dǎo)致網(wǎng)絡(luò)流量不斷增長(zhǎng),最終致使網(wǎng)絡(luò)出現(xiàn)堵塞,網(wǎng)頁(yè)打不開(kāi),影響人們的正常工作和學(xué)習(xí)。鑒于此,我們必須采取一些措施控制網(wǎng)絡(luò)流量,使它更好地為人們的生產(chǎn)生活提供服務(wù)。
1 中小型網(wǎng)絡(luò)流量控制方法
1.1 加強(qiáng)對(duì)P2P應(yīng)用的管理。在很多中小型網(wǎng)絡(luò)應(yīng)用的過(guò)程中,人們會(huì)運(yùn)用到很多P2P應(yīng)用,比如,快車(chē)下載、迅雷視頻播放器等。這些P2P應(yīng)用在運(yùn)行的過(guò)程中會(huì)占用大量的流量資源,給網(wǎng)速造成嚴(yán)重影響。針對(duì)這個(gè)問(wèn)題,在中小型網(wǎng)絡(luò)運(yùn)行中我們可以采取封禁P2P的應(yīng)用端口或者對(duì)并發(fā)連接數(shù)進(jìn)行限制等方法來(lái)控制網(wǎng)絡(luò)流量。首先,對(duì)P2P的應(yīng)用端口進(jìn)行封禁。正如上文所述,在中小型網(wǎng)路中各種下載工具和視頻播放工具等P2P占用了很多流量,我們可以使用電腦中的路由器或者防火墻等對(duì)P2P應(yīng)用進(jìn)行封禁。這種方法在運(yùn)用的早期收到一定的成效,后來(lái)的流量控制效果并不是十分理想。其次,限制并發(fā)連接的數(shù)量。當(dāng)我們?cè)谶\(yùn)用P2P軟件在網(wǎng)絡(luò)上查找資源的時(shí)候,會(huì)帶到很多的網(wǎng)絡(luò)連接,此時(shí)便會(huì)使網(wǎng)絡(luò)流量大量增加。如果我們對(duì)連接到主機(jī)上的并發(fā)連接數(shù)量進(jìn)行控制,就可以有效限制它所占用的流量。這種方法有一定的成效,但會(huì)在一定程度上對(duì)網(wǎng)絡(luò)正常運(yùn)行造成影響。
1.2 運(yùn)用專(zhuān)業(yè)的流量控制設(shè)備。在中小型網(wǎng)絡(luò)運(yùn)行中,我們還可以使用專(zhuān)業(yè)的流量控制設(shè)備對(duì)其進(jìn)行流量控制。就目前的技術(shù)水平來(lái)看,主要的流量控制技術(shù)包括深度報(bào)文檢測(cè)(DPI)和深度流行為檢測(cè)(DFI)等。以此技術(shù)為基礎(chǔ),現(xiàn)在應(yīng)用比較多的專(zhuān)業(yè)流量控制設(shè)備廠商主要有華三、思科以及Allot等。這些廠商生產(chǎn)的專(zhuān)業(yè)流量控制設(shè)備具有良好的流量控制作用,但是,它也存在一定的缺陷,比如,專(zhuān)業(yè)流量控制設(shè)備的價(jià)格比較昂貴。
1.3 對(duì)網(wǎng)絡(luò)用戶的流量和寬帶進(jìn)行限制。為了控制中小型網(wǎng)絡(luò)中的流量,我們還可以采用限制用戶流量和寬帶的方法進(jìn)行控制。首先,限制用戶流量。我們可以使用城市熱點(diǎn)或者防火墻等設(shè)備對(duì)網(wǎng)絡(luò)中用戶的流量進(jìn)行控制。這種方法確實(shí)發(fā)揮了控制流量的作用,但是,有時(shí)用戶正在使用網(wǎng)絡(luò),由于流量限制導(dǎo)致無(wú)法上網(wǎng),就會(huì)影響到用戶的工作和學(xué)習(xí)。其次,限制用戶寬帶使用數(shù)量。這種方法也在一定程度上發(fā)揮控制網(wǎng)絡(luò)流量的功效,但是,由于用戶無(wú)法得到全部寬帶,致使網(wǎng)絡(luò)運(yùn)行的速度比較緩慢。
2 流量控制方法在中小型校園網(wǎng)絡(luò)中的應(yīng)用
從上文的論述中,我們可以了解到,各種流量控制方法各有優(yōu)劣,在實(shí)際的應(yīng)用過(guò)程中,我們要從中小型網(wǎng)路的實(shí)際情況出發(fā),綜合分析多方面因素,選擇科學(xué)合理的流量控制方法。下面,我們就結(jié)合某學(xué)校一中小型的校園網(wǎng)絡(luò),對(duì)流量控制方法的具體應(yīng)用進(jìn)行分析。
2.1 校園網(wǎng)概況。某學(xué)校為了滿足教學(xué)工作需要,建設(shè)了一個(gè)校園網(wǎng)。在該校園網(wǎng)中,由2個(gè)10兆的互聯(lián)網(wǎng)與當(dāng)?shù)氐慕炭凭W(wǎng)和電信網(wǎng)進(jìn)行連接,依據(jù)教學(xué)的功能,校園網(wǎng)中被劃分成多個(gè)VLAN,從而為學(xué)校教學(xué)和教務(wù)工作的開(kāi)展提供網(wǎng)絡(luò)服務(wù)。但是,從現(xiàn)實(shí)情況來(lái)看,校園網(wǎng)中存在客戶端安全問(wèn)題、接入控制問(wèn)題以及上網(wǎng)速度慢問(wèn)題等,致使校園網(wǎng)在使用的過(guò)程中出現(xiàn)網(wǎng)頁(yè)打不開(kāi)甚至斷網(wǎng)等問(wèn)題,影響了校園網(wǎng)正常功能的發(fā)揮。
在上圖的校園網(wǎng)流量控制設(shè)備部署中,我們利用流量網(wǎng)絡(luò)開(kāi)關(guān),有效實(shí)現(xiàn)了對(duì)校園網(wǎng)的流量控制。具體來(lái)說(shuō),流量控制主要表現(xiàn)在以下幾個(gè)方面。(1)對(duì)P2P應(yīng)用進(jìn)行了控制。為了保證P2P應(yīng)用的正常使用同時(shí)減少它對(duì)網(wǎng)速的影響,我們?cè)O(shè)立了P2P應(yīng)用流量通道,對(duì)快車(chē)、迅雷等P2P應(yīng)用軟件的流量限制在一定范圍之內(nèi),并根據(jù)網(wǎng)速變化作出一些動(dòng)態(tài)調(diào)整。比如,在校園網(wǎng)高峰期,我們可以適當(dāng)降低對(duì)P2P應(yīng)用的限制,當(dāng)校園網(wǎng)處于低谷期,我們可以調(diào)高對(duì)P2P應(yīng)用的限制,從而保證校園網(wǎng)絡(luò)的有效利用。(2)對(duì)不同用戶實(shí)施不同部署。在校園網(wǎng)運(yùn)行中,針對(duì)不同用戶的需求,我們制定了不同的網(wǎng)絡(luò)流量管理方法。比如,針對(duì)學(xué)校的辦公網(wǎng)絡(luò),我們可以適當(dāng)限制P2P應(yīng)用的流量,而對(duì)于學(xué)校教學(xué)機(jī)房中的網(wǎng)絡(luò),則要嚴(yán)格控制P2P應(yīng)用的流量,盡量減少這些與教學(xué)無(wú)關(guān)的應(yīng)用占用大量的流量,保證教學(xué)網(wǎng)絡(luò)速度。(3)加強(qiáng)校園網(wǎng)接入安全管理。在過(guò)去,由于缺乏相應(yīng)的技術(shù)和管理設(shè)備,校園網(wǎng)中對(duì)客戶端接入缺乏安全管理,校外其他一些用戶可以隨意接入到校園網(wǎng)中,不僅占用了校園網(wǎng)的流量,而且給校園網(wǎng)安全造成嚴(yán)重威脅。針對(duì)這個(gè)問(wèn)題,我們可以采取客戶端接入控制和安全性檢測(cè)等方法對(duì)校園網(wǎng)接入安全進(jìn)行管理,這樣一來(lái),只有符合要求的用戶才可以接入到校園網(wǎng)中,不僅提高了校園網(wǎng)的運(yùn)行的安全性,而且對(duì)校園網(wǎng)流量控制具有一定的作用。
3 結(jié)束語(yǔ)
綜上所述,近年來(lái),隨著經(jīng)濟(jì)社會(huì)的發(fā)展,中小型網(wǎng)絡(luò)在我們生產(chǎn)生活中的作用越來(lái)越突出。鑒于此,我們要加強(qiáng)對(duì)中小型網(wǎng)絡(luò)的管理,使它更好地為人們提供網(wǎng)絡(luò)服務(wù)。但是,在現(xiàn)實(shí)中,由于多種原因?qū)е轮行⌒途W(wǎng)絡(luò)流量增加,影響了網(wǎng)絡(luò)的正常運(yùn)行。針對(duì)這個(gè)問(wèn)題,我們?cè)诜治鼍W(wǎng)絡(luò)實(shí)際情況的基礎(chǔ)上,選擇恰當(dāng)?shù)牧髁靠刂品椒▽?duì)網(wǎng)絡(luò)流量進(jìn)行有效控制,促使中小型網(wǎng)絡(luò)資源得到合理利用。
參考文獻(xiàn):
[1]鄭林江.基于交換機(jī)流量和網(wǎng)絡(luò)線路的監(jiān)控系統(tǒng)[J].計(jì)算機(jī)應(yīng)用,2009(S2):18-19.
[2]胡俊,程瑾.網(wǎng)絡(luò)流量管理控制技術(shù)在校園網(wǎng)的應(yīng)用研究[J].中國(guó)教育信息化,2009(21):58-59.
[3]牛軍,余萍萍,李思恩.校園網(wǎng)流量控制初探[J].中國(guó)教育信息化,2009(04):152-153.
[4]劉磊,李聞天,肖.校園網(wǎng)中P2P應(yīng)用的管理策略及流量監(jiān)控初探[J].昆明理工大學(xué)學(xué)報(bào)(理工版),2008(03):48-49.
【關(guān)鍵詞】IP網(wǎng)絡(luò)流量分析;互聯(lián)網(wǎng);技術(shù)的應(yīng)用
網(wǎng)絡(luò)流量分析是一個(gè)有助于網(wǎng)絡(luò)管理者進(jìn)行網(wǎng)絡(luò)優(yōu)化、網(wǎng)絡(luò)監(jiān)控、流量趨勢(shì)分析等工作的工具,進(jìn)而挖掘網(wǎng)絡(luò)資源潛力,控制網(wǎng)絡(luò)互聯(lián)成本,并為網(wǎng)絡(luò)規(guī)劃、優(yōu)化調(diào)整和業(yè)務(wù)發(fā)展提供基礎(chǔ)依據(jù),企業(yè)需要及時(shí)了解到網(wǎng)絡(luò)中承載的業(yè)務(wù),及時(shí)掌握網(wǎng)絡(luò)流量特征,及時(shí)解決網(wǎng)絡(luò)性能問(wèn)題。從這些企業(yè)管理網(wǎng)絡(luò)中所經(jīng)常遇到的問(wèn)題來(lái)看,需要有一種解決方案能讓網(wǎng)絡(luò)管理人員及時(shí)了解到詳細(xì)的網(wǎng)絡(luò)使用情形,使網(wǎng)絡(luò)管理人員及時(shí)了解網(wǎng)絡(luò)運(yùn)行狀況,及時(shí)清楚網(wǎng)內(nèi)應(yīng)用的執(zhí)行情況。隨著網(wǎng)絡(luò)的發(fā)展,流量分析工作將在網(wǎng)絡(luò)管理中起到越來(lái)越重要的作用。
1.網(wǎng)絡(luò)流量分析方法
網(wǎng)絡(luò)流量是單位時(shí)間內(nèi)通過(guò)網(wǎng)絡(luò)設(shè)備或傳輸介質(zhì)的信息量。網(wǎng)絡(luò)流量分析根據(jù)不同的方法可以從不同的側(cè)面展開(kāi),目前,主要的分析方法有流量的統(tǒng)計(jì)分析和流量的粒度分析等。
1.1 網(wǎng)絡(luò)流量的統(tǒng)計(jì)分析
(1)基于軟件的流量統(tǒng)計(jì)
這種統(tǒng)計(jì)分析一般通過(guò)修改安裝于主機(jī)上的操作系統(tǒng)的網(wǎng)絡(luò)接口模塊,使之具有捕獲數(shù)據(jù)包的功能,以實(shí)現(xiàn)流量信息的收集和分析?;谟布牧髁拷y(tǒng)計(jì)效率很高,專(zhuān)用性強(qiáng),但是價(jià)格昂貴對(duì)人員要求高,而基于軟件的流量統(tǒng)計(jì)有價(jià)格便宜,實(shí)現(xiàn)靈活,擴(kuò)展性強(qiáng)的優(yōu)點(diǎn),但其性能要低于基于硬件的統(tǒng)計(jì)技術(shù)。因此,流量統(tǒng)計(jì)方法有待進(jìn)一步的提高,以適應(yīng)網(wǎng)絡(luò)快速發(fā)展的需求。
(2)基于硬件的流量統(tǒng)計(jì)
此類(lèi)分析通常采用硬件測(cè)量設(shè)備,是一種為特定目的設(shè)計(jì)的用于收藏和分析流量數(shù)據(jù)的硬件設(shè)備。
1.2 網(wǎng)絡(luò)流量的粒度分析
網(wǎng)絡(luò)流量行為特征的分析還可以在不同測(cè)量粒度或者不同的層面上展開(kāi)。
比特級(jí)(Bit-level)的流量分析,這種分析主要關(guān)注網(wǎng)絡(luò)流量的數(shù)據(jù)特征,如網(wǎng)絡(luò)線路的傳輸速率,吞吐量的變化等等。
分組級(jí)(Packet-level)的流量分析,此類(lèi)分析主要關(guān)注的是IP分組的到達(dá)過(guò)程、延遲、抖動(dòng)和丟包率等。
流級(jí)(Flow-level)的流量分析,F(xiàn)low的劃分主要依據(jù)地址和應(yīng)用協(xié)議而展開(kāi)的,它主要關(guān)注流的到達(dá)過(guò)程、到達(dá)間隔及其局部的特征。
上面流量的粒度由小到大遞增,時(shí)間尺度也逐漸增大,不同時(shí)間尺度網(wǎng)絡(luò)流量往往表現(xiàn)出不同的行為規(guī)律。通常,網(wǎng)絡(luò)設(shè)備本身都提供基于IP分組頭的分析功能,因此,F(xiàn)low-level的流量分析成為發(fā)展趨勢(shì)。
2.網(wǎng)絡(luò)流量分析常用技術(shù)
隨著計(jì)算機(jī)技術(shù)的發(fā)展,網(wǎng)絡(luò)流量分析技術(shù)也與時(shí)俱進(jìn)。既有傳統(tǒng)的數(shù)據(jù)庫(kù)的網(wǎng)絡(luò)管理技術(shù),也有面向開(kāi)放式互聯(lián)網(wǎng)的網(wǎng)絡(luò)分析技術(shù)。目前,在網(wǎng)絡(luò)流量分析中占據(jù)主流的常用分析技術(shù)主要有:
2.1 RMON技術(shù)
RMON(遠(yuǎn)程監(jiān)控),是由IETF定義的一種遠(yuǎn)程監(jiān)控標(biāo)準(zhǔn),RMON是對(duì)SNMP標(biāo)準(zhǔn)的擴(kuò)展,它定義了標(biāo)準(zhǔn)功能以及網(wǎng)管站和遠(yuǎn)程監(jiān)控器之間的接口,實(shí)現(xiàn)對(duì)一個(gè)網(wǎng)段乃至整個(gè)網(wǎng)絡(luò)的數(shù)據(jù)流量的監(jiān)視功能。RMON監(jiān)控器叮用兩種方法收集數(shù)據(jù):一種是通過(guò)專(zhuān)用的RMON探針(Probe),流量探針安裝方便,但是流量探針價(jià)格昂貴,不適合大面積部署。另一種方法是將RMON直接植入網(wǎng)絡(luò)設(shè)備(路由器、交換機(jī)、HUB等),但這種方式受網(wǎng)絡(luò)設(shè)備資源限制,一般不能獲取RMONMIB的所有數(shù)據(jù),大多數(shù)只收集統(tǒng)計(jì)量、歷史、告警、事件等四個(gè)組的信息。
2.2 SNMP技術(shù)
SNMP是用標(biāo)準(zhǔn)化方法定義的,通常一個(gè)標(biāo)準(zhǔn)的網(wǎng)管系統(tǒng)包括三個(gè)組成部分:SNMP協(xié)議,這包括理解SNMP操作、SNMP消息的格式以及如何在應(yīng)用程序和設(shè)備之間交換信息;管理信息結(jié)構(gòu),它是用于指定一個(gè)設(shè)備維護(hù)的管理信息的規(guī)則集;管理信息庫(kù),它是設(shè)備所維護(hù)的全部被管理對(duì)象的結(jié)構(gòu)集合。基于SNMP的流量分析就是通過(guò)SNMP協(xié)議訪問(wèn)設(shè)備獲取MIB庫(kù)中的端口流量信息,典型工具有MRTG,MRTG是一個(gè)使用的免費(fèi)軟件,通過(guò)SNMP協(xié)議從設(shè)備得到流量信息,將流量負(fù)載情況繪制成PNG格式圖片,并以WEB形式顯示給用戶。由于M RTG使用起來(lái)很方便,能夠直觀顯示端口流量負(fù)載,所以是各類(lèi)網(wǎng)管人員常用的網(wǎng)絡(luò)監(jiān)視工具。但MRTG的功能比較單一,其收集到的流量信息僅是簡(jiǎn)單的端口出、入流量統(tǒng)計(jì)信息,不能深入分析包的類(lèi)型、流向等信息。
2.3 s Flow技術(shù)
s Flow是由InMon﹑HP和Foundry Networks于2001年聯(lián)合開(kāi)發(fā)的一種網(wǎng)絡(luò)監(jiān)測(cè)技術(shù),它采用數(shù)據(jù)流隨機(jī)采樣技術(shù),可提供完整的第一層到第四層,甚至全網(wǎng)絡(luò)范圍內(nèi)的流量信息,可以適應(yīng)超大網(wǎng)絡(luò)流量(如人于10Gbit/s)環(huán)境下的流量分析,讓用戶詳細(xì)、實(shí)時(shí)地分析網(wǎng)絡(luò)傳輸流的性能、趨勢(shì)和存在的問(wèn)題。sFlow技術(shù)有很多優(yōu)點(diǎn):成本低廉;在不斷發(fā)展升級(jí)當(dāng)中,能在沒(méi)有消耗額外資源的環(huán)境監(jiān)測(cè)萬(wàn)兆網(wǎng)絡(luò),不會(huì)帶來(lái)新的網(wǎng)絡(luò)沖突;有自己的一套準(zhǔn)確可靠的計(jì)量方式;數(shù)據(jù)信息量人。sFlow已經(jīng)成為一項(xiàng)線速運(yùn)行的“永遠(yuǎn)在線”技術(shù),可以將sFlow技術(shù)嵌入到網(wǎng)絡(luò)路由器和交換機(jī)ASIC芯片中。與使用鏡像端口、探針和旁路監(jiān)測(cè)技術(shù)的傳統(tǒng)網(wǎng)絡(luò)監(jiān)視解決方案相比,sFlow能夠明顯地降低實(shí)施費(fèi)用,同時(shí)可以使實(shí)現(xiàn)而向每一個(gè)端口的全企業(yè)網(wǎng)絡(luò)監(jiān)視解決方案成為可能。
3.網(wǎng)絡(luò)流量分析技術(shù)的應(yīng)用
網(wǎng)絡(luò)流量分析起著一個(gè)銜接的作用,主要利用網(wǎng)絡(luò)流量測(cè)量部分收集到的各種流量信息,通過(guò)運(yùn)用不同的方法對(duì)其進(jìn)行分析和建模,以發(fā)現(xiàn)流量的特性,對(duì)網(wǎng)絡(luò)性能做出客觀的評(píng)價(jià),并以此作為對(duì)網(wǎng)絡(luò)進(jìn)行控制和優(yōu)化的依據(jù)。網(wǎng)絡(luò)流量分析技術(shù)的應(yīng)用主要包括以下兒個(gè)方面:
3.1 實(shí)施安全預(yù)警
網(wǎng)絡(luò)流量異常會(huì)嚴(yán)重影響網(wǎng)絡(luò)性能,造成網(wǎng)絡(luò)擁塞,嚴(yán)重的甚至?xí)W(wǎng)絡(luò)中斷,使網(wǎng)絡(luò)設(shè)備利用率達(dá)到100%無(wú)法響應(yīng)進(jìn)一步的指令。通過(guò)對(duì)網(wǎng)絡(luò)內(nèi)流量的實(shí)時(shí)分析,有助于及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中出現(xiàn)的異常流量,迅速分析出異常流量的具體屬性,并向網(wǎng)絡(luò)管理者進(jìn)行告警,判斷是否出現(xiàn)了入侵,并按照事先擬定的規(guī)則集進(jìn)行處理,記錄異常情況發(fā)生時(shí)的詳細(xì)網(wǎng)絡(luò)狀況,使入侵得到及時(shí)發(fā)現(xiàn)和處理。
3.2 分析用戶行為
根據(jù)分析結(jié)果,進(jìn)行相應(yīng)網(wǎng)絡(luò)內(nèi)容的建設(shè)!將用戶感興趣的熱點(diǎn)信息內(nèi)容放到內(nèi)部網(wǎng)絡(luò),減輕互聯(lián)鏈路的壓力。
3.3 節(jié)省運(yùn)營(yíng)費(fèi)用
通過(guò)對(duì)網(wǎng)絡(luò)出口流量和流向的分析,可以統(tǒng)計(jì)出業(yè)務(wù)類(lèi)型、服務(wù)等級(jí)、通信時(shí)間和時(shí)長(zhǎng)、通信數(shù)據(jù)量等參數(shù),可以詳細(xì)了解網(wǎng)絡(luò)內(nèi)部用戶對(duì)其他外部網(wǎng)絡(luò)的訪問(wèn)情況,為基于IP的計(jì)費(fèi)應(yīng)用和SLA的校驗(yàn)服務(wù)提供數(shù)據(jù)依據(jù),從而有效地選擇與其他運(yùn)營(yíng)商的互聯(lián)方式,節(jié)省費(fèi)用。
3.4 優(yōu)化網(wǎng)絡(luò)結(jié)構(gòu)
通過(guò)對(duì)網(wǎng)絡(luò)中一些特定流量的長(zhǎng)期監(jiān)控,獲得網(wǎng)絡(luò)流量數(shù)據(jù)后對(duì)其進(jìn)行統(tǒng)計(jì)和計(jì)算。從而得到網(wǎng)絡(luò)及其主要成分的性能指標(biāo),定期形成性能報(bào)表,并維護(hù)網(wǎng)絡(luò)流量數(shù)據(jù)庫(kù)或日志存儲(chǔ)網(wǎng)絡(luò)及其主要成分的性能的歷史數(shù)據(jù),可供網(wǎng)管人員正確分析網(wǎng)絡(luò)使用狀況,對(duì)網(wǎng)絡(luò)及其主要成分的性能進(jìn)行性能管理。通過(guò)數(shù)據(jù)分析獲得性能的變化趨勢(shì),分析制約網(wǎng)絡(luò)性能的瓶頸問(wèn)題。
3.5 評(píng)估網(wǎng)絡(luò)價(jià)
通過(guò)對(duì)各個(gè)分支網(wǎng)絡(luò)出入流量的監(jiān)控,分析流量的大小﹑去向及內(nèi)容組成,了解各分支網(wǎng)絡(luò)占用帶寬的情況。從而反映其占用的網(wǎng)絡(luò)成本,也可以了解其業(yè)務(wù)開(kāi)展情況,并作出價(jià)值評(píng)估。
3.6 確定重點(diǎn)客戶
通過(guò)對(duì)重要應(yīng)用和大客戶的流量進(jìn)行統(tǒng)計(jì)分析。掌握重要應(yīng)用和大客戶的流量狀況,進(jìn)行網(wǎng)絡(luò)帶寬的成本分析。有助于在網(wǎng)絡(luò)服務(wù)質(zhì)量和網(wǎng)絡(luò)成本之間取得最佳平衡。
4.網(wǎng)絡(luò)流量分析的重要性
相對(duì)于網(wǎng)絡(luò)管理人員來(lái)說(shuō),理解用戶的網(wǎng)絡(luò)行為網(wǎng)絡(luò)流量的內(nèi)容是網(wǎng)絡(luò)管理的重要內(nèi)容,它為日常網(wǎng)絡(luò)管理﹑容量規(guī)劃與未來(lái)網(wǎng)絡(luò)升級(jí)等提供重要依據(jù),通過(guò)網(wǎng)絡(luò)流量分析,可以提供大量詳盡的數(shù)據(jù),供網(wǎng)管人員從很多方面進(jìn)行更好地維護(hù)﹑優(yōu)化網(wǎng)絡(luò),并且提升網(wǎng)絡(luò)的性能;同時(shí)還能為業(yè)務(wù)應(yīng)用層面提供數(shù)據(jù)依據(jù),為特定客戶提供流量分析服務(wù)。比如網(wǎng)站流量統(tǒng)計(jì)分析等;也可作為網(wǎng)絡(luò)安全的輔助手段,處理網(wǎng)絡(luò)病毒等異常事件。在病毒分析時(shí),網(wǎng)絡(luò)管理員需要知道哪些端口發(fā)送的數(shù)據(jù)發(fā)生了較大變化,因此,對(duì)網(wǎng)絡(luò)流量的分析可以為網(wǎng)絡(luò)的運(yùn)行和維護(hù)提供重要信息和深層次的管理功能,很好地發(fā)揮網(wǎng)絡(luò)管理作用。對(duì)于網(wǎng)絡(luò)性能分析﹑異常監(jiān)測(cè)﹑鏈路狀態(tài)監(jiān)測(cè)﹑容量規(guī)劃等發(fā)揮著重要作用。為網(wǎng)絡(luò)發(fā)展和網(wǎng)絡(luò)優(yōu)化提供更優(yōu)質(zhì)﹑更有效的技術(shù)支撐和技術(shù)服務(wù),可以預(yù)見(jiàn),隨著網(wǎng)絡(luò)的發(fā)展,流量分析工作將在網(wǎng)絡(luò)管理中起到越來(lái)越重要的作用。
參考文獻(xiàn)
[1]李萬(wàn)鵬.網(wǎng)絡(luò)流量控制及流量分析[D].北京郵電大學(xué),2011.
關(guān)鍵詞:網(wǎng)絡(luò)服務(wù)器;流量分析;流量監(jiān)控
中圖分類(lèi)號(hào):TP393 文獻(xiàn)標(biāo)識(shí)碼:A文章編號(hào):1007-9599 (2010) 05-0000-02
Network Server Traffic Analysis
Zhu Ye
(TravelSky Technology Limited,Beijing100029,China)
Abstract:This article analyzes the current status of the network server traffic analysis.discusses the significance of monitoring and analysis on the server traffic and summarizes main content.Then,the article provides solutions on the server traffic based on the agreement of Net flow v9、IPFIX and PSAM.At last,proposes software framework design pattern.
KeyWord:Network Server;Server Traffic Analysis;Server Traffic Control
一、前言
今天的數(shù)據(jù)網(wǎng)絡(luò)給我們的生活、工作和人與人之間的溝通帶來(lái)了極大的方便,網(wǎng)絡(luò)業(yè)務(wù)日趨豐富,網(wǎng)絡(luò)流量高速增長(zhǎng)。同時(shí),網(wǎng)絡(luò)運(yùn)營(yíng)商之間的競(jìng)爭(zhēng)也逐漸激烈,以高投資為特征,追求簡(jiǎn)單規(guī)模擴(kuò)張的粗放型競(jìng)爭(zhēng)模式已經(jīng)不適應(yīng)當(dāng)前的形式。挖掘現(xiàn)有網(wǎng)絡(luò)資源潛力,控制網(wǎng)絡(luò)互聯(lián)成本,提供有吸引力的增值業(yè)務(wù),提高網(wǎng)絡(luò)運(yùn)維水平成為在激烈競(jìng)爭(zhēng)中的制勝策而要實(shí)現(xiàn)這些,都離不開(kāi)可靠、有效的網(wǎng)絡(luò)流量監(jiān)控的有力支撐。
二、網(wǎng)絡(luò)流量監(jiān)控和分析的意義
用戶現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)在長(zhǎng)期的網(wǎng)絡(luò)流量分析方面存在不足。主要表現(xiàn)在如下方面:
(一)長(zhǎng)期的網(wǎng)絡(luò)和應(yīng)用問(wèn)題分析能力不足
現(xiàn)有的網(wǎng)絡(luò)管理系統(tǒng)無(wú)法長(zhǎng)期的紀(jì)錄網(wǎng)絡(luò)和應(yīng)用的運(yùn)行狀態(tài),無(wú)法長(zhǎng)期的保存網(wǎng)絡(luò)流量信息,在出現(xiàn)網(wǎng)絡(luò)或應(yīng)用問(wèn)題時(shí),不能為網(wǎng)絡(luò)技術(shù)人員提供有效的信息依據(jù),問(wèn)題往往是依靠網(wǎng)絡(luò)技術(shù)人員通過(guò)推斷來(lái)分析,這樣網(wǎng)絡(luò)問(wèn)題的分析效率很低,同時(shí)很難得到確實(shí)的分析結(jié)論。
(二)缺乏對(duì)網(wǎng)絡(luò)和應(yīng)用間歇性問(wèn)題的分析能力
網(wǎng)絡(luò)或應(yīng)用可能出現(xiàn)間歇性故障,這種故障的出現(xiàn)一般很難判斷,在出現(xiàn)后很難分析其產(chǎn)生原因,而再次出現(xiàn)的時(shí)間無(wú)法確定,因此難以解決,好像網(wǎng)絡(luò)中存在一個(gè)不定時(shí)的炸彈,使用戶網(wǎng)絡(luò)和應(yīng)用時(shí)刻處于危險(xiǎn)之中。
(三)對(duì)網(wǎng)絡(luò)安全問(wèn)題的分析能力不足
在發(fā)生網(wǎng)絡(luò)安全問(wèn)題時(shí),缺乏有效的監(jiān)控分析手段,導(dǎo)致網(wǎng)絡(luò)的安全性降低,例如蠕蟲(chóng)病毒的爆發(fā),應(yīng)該能夠?qū)θ湎x(chóng)病毒的傳播情況進(jìn)行有效的分析。
三、網(wǎng)絡(luò)流量分析內(nèi)容
流量分析系統(tǒng)主要從帶寬的網(wǎng)絡(luò)流量分析、網(wǎng)絡(luò)協(xié)議流量分析、基于網(wǎng)段的業(yè)務(wù)流量分析、網(wǎng)絡(luò)異常流量分析、應(yīng)用服務(wù)異常流量分析等五個(gè)方面對(duì)網(wǎng)絡(luò)系統(tǒng)進(jìn)行綜合流量分析。
(一)帶寬的網(wǎng)絡(luò)流量分析
復(fù)雜的網(wǎng)絡(luò)系統(tǒng)上面,不同的應(yīng)用占用不同的帶寬,重要的應(yīng)用是否得到了最佳的帶寬?它占的比例是多少?隊(duì)列設(shè)置和網(wǎng)絡(luò)優(yōu)化是否生效?通過(guò)基于帶寬的網(wǎng)絡(luò)流量分析會(huì)使其更加明確。工具主要有MRTG等,它是一個(gè)監(jiān)控網(wǎng)絡(luò)鏈路流量負(fù)載的工具軟件, 它通過(guò)snmp協(xié)議從設(shè)備得到設(shè)備的流量信息,并將流量負(fù)載以包含PNG格式的圖形的HTML 文檔方式顯示給用戶,以非常直觀的形式顯示流量負(fù)載。
(二)網(wǎng)絡(luò)協(xié)議流量分析
對(duì)網(wǎng)絡(luò)流量進(jìn)行協(xié)議劃分,真對(duì)不同的協(xié)議我們進(jìn)行流量監(jiān)控和分析,如果某一個(gè)協(xié)議在一個(gè)時(shí)間段內(nèi)出現(xiàn)超常暴漲,就有可能是攻擊流量或蠕蟲(chóng)病毒出現(xiàn)。Cisco NetFlow V5可以根據(jù)不同的協(xié)議對(duì)網(wǎng)絡(luò)流量進(jìn)行劃分,對(duì)不同協(xié)議流量進(jìn)行分別匯總。
(三)基于網(wǎng)段的業(yè)務(wù)流量分析
流量分析系統(tǒng)可以針對(duì)不同的VLAN來(lái)進(jìn)行網(wǎng)絡(luò)流量監(jiān)控,大多數(shù)組織,都是不同的業(yè)務(wù)系統(tǒng)通過(guò)VLAN來(lái)進(jìn)行邏輯隔離的,所以可以通過(guò)流量分析系統(tǒng)針對(duì)不同的VLAN 來(lái)對(duì)不同的業(yè)務(wù)系統(tǒng)的業(yè)務(wù)流量進(jìn)行監(jiān)控。Cisco NetFlow V5可以針對(duì)不同的VLAN進(jìn)行流量監(jiān)控。
(四)網(wǎng)絡(luò)異常流量分析
異常流量分析系統(tǒng),支持異常流量發(fā)現(xiàn)和報(bào)警,能夠通過(guò)對(duì)一個(gè)時(shí)間窗內(nèi)歷史數(shù)據(jù)的自動(dòng)學(xué)習(xí),獲取包括總體網(wǎng)絡(luò)流量水平、流量波動(dòng)、流量跳變等在內(nèi)的多種網(wǎng)絡(luò)流量測(cè)度,并自動(dòng)建立當(dāng)前流量的置信度區(qū)間作為流量異常監(jiān)測(cè)的基礎(chǔ)。能把焦點(diǎn)放在組織的核心業(yè)務(wù)上。通過(guò)積極主動(dòng)鑒定和防止針對(duì)網(wǎng)絡(luò)的安全威脅,保證了服務(wù)水平協(xié)議(SLA)并且改進(jìn)顧客服務(wù), 從而為組織節(jié)約成本。異常流量分析工具主要有Arbor公司的 PeakFlow DoS安全管理平臺(tái)、PeakFlow Traffic流量管理平臺(tái)等。
(五)應(yīng)用服務(wù)異常流量分析
當(dāng)應(yīng)用層出現(xiàn)異常流量時(shí),通過(guò)IDS&IPS的協(xié)議分析、協(xié)議識(shí)別技術(shù)可以對(duì)應(yīng)用層進(jìn)行深層的流量分析,并通過(guò)IPS的安全防護(hù)技術(shù)進(jìn)行反擊。
四、網(wǎng)絡(luò)流量控制解決方案建議
對(duì)于目前運(yùn)營(yíng)商對(duì)網(wǎng)絡(luò)流量控制的需要,論文推薦的流量控制解決方案構(gòu)架是:全網(wǎng)集中監(jiān)視+重點(diǎn)控制。全網(wǎng)集中監(jiān)視反映的是對(duì)整個(gè)網(wǎng)絡(luò)的性能監(jiān)視和分析。重點(diǎn)控制是在網(wǎng)絡(luò)中的關(guān)鍵位置部署監(jiān)控探針,在網(wǎng)絡(luò)中心設(shè)置管理系統(tǒng),以實(shí)現(xiàn)運(yùn)營(yíng)商在遠(yuǎn)程對(duì)重點(diǎn)地區(qū)進(jìn)行更加細(xì)致的監(jiān)視和控制作用。
(一)監(jiān)控探針的放置點(diǎn)建議
國(guó)際出口、網(wǎng)絡(luò)互聯(lián)端口、骨干網(wǎng)的重要中繼、重要城市的城域網(wǎng)出口等位置。
(二)全網(wǎng)集中監(jiān)視主要實(shí)現(xiàn)的功能
實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)狀況。能實(shí)時(shí)獲得網(wǎng)絡(luò)的當(dāng)前運(yùn)行狀況,減輕運(yùn)維人員工作負(fù)擔(dān)。能在網(wǎng)絡(luò)出現(xiàn)故障或擁塞時(shí)自動(dòng)告警,在網(wǎng)絡(luò)即將出現(xiàn)瓶頸前給出分析和預(yù)測(cè)。
合理規(guī)劃和優(yōu)化網(wǎng)絡(luò)。通過(guò)對(duì)網(wǎng)絡(luò)流量的監(jiān)視、數(shù)據(jù)采集和分析,給出詳細(xì)的鏈路和節(jié)點(diǎn)流量分析報(bào)告,獲得流量分布和流向分布、報(bào)文特性和協(xié)議協(xié)分布特性,為網(wǎng)絡(luò)規(guī)劃、路由策略、資源和容量升級(jí)提供依據(jù)。
引導(dǎo)提供網(wǎng)絡(luò)增值業(yè)務(wù)。通過(guò)對(duì)業(yè)務(wù)占用帶寬的分布、業(yè)務(wù)會(huì)話的統(tǒng)計(jì)分析,能夠了解和分析網(wǎng)絡(luò)特性和用戶使用偏好,引導(dǎo)開(kāi)發(fā)和規(guī)劃新的網(wǎng)絡(luò)應(yīng)用和業(yè)務(wù)平臺(tái),進(jìn)行增值業(yè)務(wù)的拓展和市場(chǎng)宣傳,引導(dǎo)用戶需求。
靈活的資費(fèi)標(biāo)準(zhǔn)。通過(guò)對(duì)用戶上網(wǎng)時(shí)長(zhǎng)、上網(wǎng)流量、網(wǎng)絡(luò)業(yè)務(wù)以及目的網(wǎng)站的數(shù)據(jù)分析,擺脫目前單一的包月制,實(shí)現(xiàn)基于時(shí)間段、帶寬、應(yīng)用、服務(wù)質(zhì)量等更加靈活的資費(fèi)標(biāo)準(zhǔn)。
(三)重點(diǎn)控制實(shí)現(xiàn)的功能包括
提供主動(dòng)的控制功能。不僅僅局限于對(duì)網(wǎng)絡(luò)流量狀況的獲得,還能夠提供基于網(wǎng)絡(luò)流量監(jiān)測(cè)系統(tǒng)GATE 1000硬件平臺(tái)和業(yè)界領(lǐng)先算法的流量控制功能,主動(dòng)改進(jìn)網(wǎng)絡(luò)服務(wù)。
滿足重點(diǎn)監(jiān)控需要??梢蕴峁┴S富的監(jiān)控特征參數(shù),可以進(jìn)行靈活的復(fù)合設(shè)定,全面滿足運(yùn)營(yíng)商需要,也可以通過(guò)定制來(lái)實(shí)現(xiàn)特定要求。
降低互聯(lián)互通成本。獲得重點(diǎn)出口中繼鏈路的利用率、用戶和協(xié)議分布、源和目的網(wǎng)段間的流量分布和趨勢(shì),提供運(yùn)營(yíng)和互聯(lián)成本分析。為網(wǎng)絡(luò)互通、租用中繼以及選擇商業(yè)戰(zhàn)略伙伴決策時(shí)提供科學(xué)依據(jù),降低成本。
實(shí)現(xiàn)區(qū)分服務(wù),保證服務(wù)質(zhì)量。流量監(jiān)控獲得的數(shù)據(jù),可進(jìn)行高低優(yōu)先級(jí)客戶的網(wǎng)絡(luò)資源占用率分析、服務(wù)質(zhì)量的監(jiān)測(cè)。通過(guò)資費(fèi)政策的調(diào)節(jié)、業(yè)務(wù)等級(jí)的區(qū)分、在中繼線路上實(shí)施流量控制,優(yōu)先保證高優(yōu)先客戶的服務(wù)質(zhì)量。
網(wǎng)絡(luò)安全和抵御DOS攻擊。通過(guò)連接會(huì)話數(shù)的跟蹤,源目的地址對(duì)的分析,TCP流的分析,能夠及時(shí)發(fā)現(xiàn)網(wǎng)絡(luò)中的異常流量和異常連接,偵測(cè)和定位網(wǎng)絡(luò)潛在的安全問(wèn)題和攻擊行為,保障網(wǎng)絡(luò)安全。
五、IPFIX與PSAMP標(biāo)準(zhǔn)
IPFIX(IP Flow Information Export,IP流動(dòng)信息輸出)是IETF的技術(shù)人員2004年才制訂的一項(xiàng)規(guī)范,使得網(wǎng)絡(luò)中流量統(tǒng)計(jì)信息的格式趨于標(biāo)準(zhǔn)化。該協(xié)議工作于任何廠商的路由器和管理系統(tǒng)平臺(tái)之上,并用于輸出基于路由器的流量統(tǒng)計(jì)信息。
IPFIX定義的格式為Cisco的NetFlow Version 9數(shù)據(jù)輸出格式作為基礎(chǔ),可使IP流量信息從一個(gè)輸出器(路由器或交換機(jī))傳送到另一個(gè)收集器。因?yàn)镮PFIX具有很強(qiáng)的可擴(kuò)展性,因此網(wǎng)絡(luò)管理員們可以自由地添加或更改域(特定的參數(shù)和協(xié)議),以便更方便地監(jiān)控IP流量信息。使用模板的方便之處在于網(wǎng)管和廠商不必為了用戶能夠查看流量統(tǒng)計(jì)信息,而每次都要更換軟件
為了完整地輸出數(shù)據(jù),路由器一般以七個(gè)關(guān)鍵域來(lái)表示每股網(wǎng)絡(luò)流量:源IP地址、目的地IP地址、源端口、目的端口、三層協(xié)議類(lèi)型、服務(wù)類(lèi)型字節(jié)、輸入邏輯接口。如果不同的包中所有的七個(gè)關(guān)鍵域都匹配,那么所有這些包都將被視為屬于同一股流量。此外,一些系統(tǒng)中還有為了網(wǎng)絡(luò)統(tǒng)計(jì)進(jìn)行跟蹤而附加的非關(guān)鍵域,包括源IP掩碼、目的地IP掩碼、源地址自治系統(tǒng)(autonomous system)、目的地自治系統(tǒng)、TCP flag、目的地接口以及IP next-hop等。按照IPFIX標(biāo)準(zhǔn),如果網(wǎng)絡(luò)操作人員想以附加的非關(guān)鍵域來(lái)描述包,那么基于模板的格式會(huì)在輸出包的報(bào)頭之后插入一個(gè)新域,并新增新的模板記錄。
六、網(wǎng)絡(luò)監(jiān)測(cè)系統(tǒng)框架
采用不同的檢測(cè)方法,通過(guò)分布式監(jiān)測(cè)方式對(duì)通過(guò)高速I(mǎi)P網(wǎng)絡(luò)的數(shù)據(jù)包進(jìn)行統(tǒng)計(jì)和分析。采集服務(wù)器搜集的數(shù)據(jù)包及統(tǒng)計(jì)數(shù)據(jù)被傳送到綜合服務(wù)器,經(jīng)合并處理后存入數(shù)據(jù)庫(kù),并進(jìn)行進(jìn)一步的分析處理。在這個(gè)過(guò)程中,可應(yīng)用Netflow v9、IPFIX以及PSAMP等標(biāo)準(zhǔn)和協(xié)議,實(shí)現(xiàn)對(duì)采集數(shù)據(jù)的編碼與傳輸。與通常的SNMP、Netflow及其它網(wǎng)管標(biāo)準(zhǔn)不同的是,該框架采取了PSAMP標(biāo)準(zhǔn)及技術(shù),在不降低監(jiān)測(cè)與分析效果的情況下,盡量減少檢測(cè)數(shù)據(jù)量。
整個(gè)框架從總體看,可分為網(wǎng)絡(luò)流量數(shù)據(jù)采集和網(wǎng)絡(luò)數(shù)據(jù)分析兩大部分。
網(wǎng)絡(luò)流量數(shù)據(jù)采集:為適應(yīng)不斷發(fā)展的高速網(wǎng)絡(luò)應(yīng)用,框架中采用了分布式網(wǎng)絡(luò)流量數(shù)據(jù)采集方案,IP流數(shù)據(jù)可從不同的設(shè)備以不同的方法來(lái)獲取。利用路由器/交換機(jī)的數(shù)據(jù)流量采集功能或是從其他IPFIX/PSAMP數(shù)據(jù)采集設(shè)備,也可直接從網(wǎng)絡(luò)接口卡等網(wǎng)絡(luò)數(shù)據(jù)包攝入設(shè)備來(lái)得到網(wǎng)絡(luò)數(shù)據(jù),然后再以不同的標(biāo)準(zhǔn),最終由網(wǎng)絡(luò)流量數(shù)據(jù)采集服務(wù)器將所有傳來(lái)的不同格式的數(shù)據(jù)集中。
為體現(xiàn)現(xiàn)代計(jì)算機(jī)應(yīng)用中的兼容性,框架中對(duì)網(wǎng)絡(luò)硬件接口的應(yīng)用方面,突出了其應(yīng)用多樣性。這樣,在原有硬件設(shè)備的基礎(chǔ)上,如普通的網(wǎng)卡(NIC)、基于硬件時(shí)間戳的Endace DAG卡或者其它的專(zhuān)用FPGA網(wǎng)絡(luò)接口設(shè)備,都可以在libpcap、winpcap等庫(kù)的支持下,由BPF虛擬處理器作為缺省的包捕獲工具。在包捕獲的軟件實(shí)現(xiàn)上,采用了多線程機(jī)制,使用不同形式的數(shù)據(jù)隊(duì)列和數(shù)據(jù)緩沖設(shè)備,以應(yīng)對(duì)突發(fā)的大量數(shù)據(jù)包。
接下來(lái)對(duì)捕獲的數(shù)據(jù)包,分別交由兩種方法和途徑進(jìn)行處理:在Netflow標(biāo)準(zhǔn)支持下,同步完成記帳業(yè)務(wù)。在這種操作模式下,傳送的總的數(shù)據(jù)量可以被統(tǒng)計(jì)下來(lái)。數(shù)據(jù)分析模塊利用PSAMP協(xié)議,根據(jù)不同的具體需求采取不同的取樣算法,對(duì)數(shù)據(jù)包進(jìn)行過(guò)濾和抽取以進(jìn)行分析處理。這樣就可以根據(jù)實(shí)際的需要來(lái)進(jìn)行選擇,以減少傳輸和分析處理的數(shù)據(jù)量。
網(wǎng)絡(luò)數(shù)據(jù)分析:對(duì)采集來(lái)的網(wǎng)絡(luò)流量數(shù)據(jù),根據(jù)不用的應(yīng)用要進(jìn)行詳細(xì)的分析處理??蚣苤羞@個(gè)部分的設(shè)計(jì)采用以SQL數(shù)據(jù)庫(kù)為中心的分布式數(shù)據(jù)集中和分析的方法。
以DBMS為中心的操作可以獲得更好的分析樣本以及統(tǒng)計(jì)粒度。此外,為便于網(wǎng)絡(luò)管理人員的操作,框架中應(yīng)用基于Web的直觀的、圖形化的管理界面,所有數(shù)據(jù)輸出都以腳本語(yǔ)言(XML)的形式,直接在Web頁(yè)面中顯示。管理人員可以實(shí)時(shí)觀察網(wǎng)絡(luò)運(yùn)行狀況,還可以對(duì)歷史數(shù)據(jù)進(jìn)行瀏覽、分析,同時(shí)還可這些實(shí)時(shí)數(shù)據(jù)傳送到其他應(yīng)用系統(tǒng),如分布式入侵檢測(cè)系統(tǒng)、網(wǎng)絡(luò)跟蹤等。
七、結(jié)束語(yǔ)
總的來(lái)說(shuō),在網(wǎng)絡(luò)設(shè)備上配置網(wǎng)絡(luò)流量監(jiān)控系統(tǒng),對(duì)網(wǎng)絡(luò)流量進(jìn)行分析和監(jiān)控,好處還是顯而易見(jiàn)的。特別是對(duì)于網(wǎng)絡(luò)流量負(fù)荷比較大的網(wǎng)絡(luò)??梢杂行У墓?jié)省網(wǎng)絡(luò)帶寬和處理資源。也可以作為計(jì)費(fèi)或者流量控制或者網(wǎng)絡(luò)規(guī)劃的參考。
參考文獻(xiàn)
[1]謝希仁.計(jì)算機(jī)網(wǎng)絡(luò).大連理工大學(xué)出版社
論文關(guān)鍵詞:多媒體,網(wǎng)絡(luò),流量,分析
1 多媒體流量分析的基礎(chǔ)
多媒體在應(yīng)用層面對(duì)于用戶的強(qiáng)大支持,映射到其數(shù)據(jù)層面,必然是不容忽視的大量不同數(shù)據(jù)格式。而在這樣的環(huán)境之下,想要展開(kāi)有效的網(wǎng)絡(luò)流量分析,實(shí)現(xiàn)對(duì)于通信資源的優(yōu)化利用,首先必須展開(kāi)對(duì)于多媒體報(bào)文的有效分類(lèi)。每一個(gè)報(bào)文都會(huì)在這個(gè)過(guò)程中被分類(lèi)到對(duì)應(yīng)的類(lèi)型,而后進(jìn)一步依據(jù)運(yùn)營(yíng)商制定的傳輸優(yōu)先策略對(duì)其展開(kāi)傳輸處理。
多媒體流分類(lèi)問(wèn)題可抽象成從多媒體報(bào)文映射到流類(lèi)型的過(guò)程,多媒體報(bào)文流經(jīng)流分類(lèi)器,即展開(kāi)對(duì)于其的辨別并且添加相關(guān)的類(lèi)型標(biāo)識(shí),通常會(huì)將該標(biāo)志寫(xiě)入報(bào)文頭部字段中,便于后續(xù)識(shí)別和處理。在識(shí)別的過(guò)程中,可供識(shí)別多媒體流的方法主要有三種,即基于報(bào)文頭部信息的分類(lèi)方法、基于數(shù)據(jù)包載荷內(nèi)容的分類(lèi)方法以及基于流量統(tǒng)計(jì)模型的分類(lèi)方法。其中基于報(bào)文頭部信息的分類(lèi)方法,即依據(jù)報(bào)頭中的多元組信息展開(kāi)工作,將其與預(yù)先定義的規(guī)則集進(jìn)行比對(duì)匹配,并且確定出媒體流的對(duì)應(yīng)分類(lèi)進(jìn)行標(biāo)識(shí)。此種工作方式相對(duì)簡(jiǎn)單,因此發(fā)展也趨于成熟,效率較高,但是在識(shí)別過(guò)程中由于多媒體應(yīng)用使用的端口通常并不固定,因此針對(duì)而言準(zhǔn)確率比較有限。而基于數(shù)據(jù)包載荷內(nèi)容的分類(lèi)方法則面向報(bào)文載荷信息展開(kāi)識(shí)別和工作,進(jìn)一步又可以針對(duì)應(yīng)用層協(xié)議展開(kāi)解析或針對(duì)載荷內(nèi)容展開(kāi)特征解析。此種識(shí)別方式工作準(zhǔn)確率基本有所保證,但是對(duì)于某些私有協(xié)議以及加密數(shù)據(jù)流,會(huì)因?yàn)闊o(wú)法有效提取特征信息而導(dǎo)致識(shí)別失敗。最后,基于流量統(tǒng)計(jì)模型的分類(lèi)方法主要是關(guān)注多媒體流量特征,通過(guò)流量來(lái)判斷多媒體數(shù)據(jù)的傳輸行為模式,諸如數(shù)據(jù)包的大小以及包與包之間的間隔時(shí)間等方面特征。此種方式能夠?qū)崿F(xiàn)系統(tǒng)的自主學(xué)習(xí),但是會(huì)存在一定的分類(lèi)延時(shí)。
2 網(wǎng)絡(luò)流量分析技術(shù)淺議
對(duì)多媒體進(jìn)行標(biāo)識(shí)之后,可以在網(wǎng)絡(luò)環(huán)境中展開(kāi)更為有效的網(wǎng)絡(luò)流量分析。已經(jīng)被標(biāo)記的信息流在傳輸過(guò)程中能夠表現(xiàn)出不同的對(duì)于資源的占用,以此作為依據(jù)展開(kāi)更具有針對(duì)性的網(wǎng)絡(luò)流量分析,對(duì)于整體網(wǎng)絡(luò)數(shù)據(jù)傳輸資源和功能的優(yōu)化都必然有著積極價(jià)值。
隨著計(jì)算機(jī)技術(shù)的不斷成熟,網(wǎng)絡(luò)流量分析技術(shù)也呈現(xiàn)出不斷發(fā)展的特征。當(dāng)前的流量分析技術(shù),主要是在傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)基礎(chǔ)之上,以一種開(kāi)放的態(tài)度構(gòu)建起支持自學(xué)習(xí)的網(wǎng)絡(luò)流量分析系統(tǒng),從而實(shí)現(xiàn)整個(gè)體系的智能化。就目前的狀況看,常見(jiàn)的幾種流量分析技術(shù)有以下幾種。小學(xué)德育論文
1)SNMP技術(shù)。此種技術(shù)主要用于實(shí)現(xiàn)面向網(wǎng)絡(luò)環(huán)境中多種類(lèi)型設(shè)備展開(kāi)監(jiān)控和管理,并且對(duì)既有問(wèn)題進(jìn)行定位。該技術(shù)系統(tǒng)包括SNMP協(xié)議、管理信息結(jié)構(gòu)以及管理信息庫(kù)三個(gè)部分構(gòu)成,其中SNMP協(xié)議用于實(shí)現(xiàn)在應(yīng)用程序和設(shè)備時(shí)間交換信息,而管理信息結(jié)構(gòu)用于指定一個(gè)設(shè)備維護(hù)的管理信息的規(guī)則集,最后管理信息庫(kù)用于明確設(shè)備所維護(hù)的全部被管理對(duì)象的結(jié)構(gòu)集合。
2)RMON技術(shù)。該項(xiàng)技術(shù)由IETF定義,本身是對(duì)于SNMP技術(shù)的一種深入。其對(duì)于標(biāo)準(zhǔn)功能以及網(wǎng)管站遠(yuǎn)程監(jiān)控器之間的接口進(jìn)行了重新定義,使得其能夠?qū)崿F(xiàn)更為順暢的數(shù)據(jù)交換,從而有助于展開(kāi)對(duì)于網(wǎng)絡(luò)環(huán)境數(shù)據(jù)流量的更為有效監(jiān)視。在RMON系統(tǒng)中,當(dāng)探測(cè)器發(fā)現(xiàn)了一個(gè)非正常態(tài)的網(wǎng)絡(luò)段之后,會(huì)主動(dòng)與網(wǎng)絡(luò)維護(hù)管理控制臺(tái)接通聯(lián)絡(luò),并將對(duì)應(yīng)的網(wǎng)絡(luò)信息進(jìn)行發(fā)送,實(shí)現(xiàn)對(duì)于整體網(wǎng)絡(luò)流量的監(jiān)控和分析。
3)SFlow技術(shù)。此種技術(shù)以隨機(jī)采樣作為主要的研究方式,并且能夠提供從第二層到第四層的相對(duì)完整的網(wǎng)絡(luò)流量分析信息,這種分析甚至可以擴(kuò)展到整個(gè)網(wǎng)絡(luò)環(huán)境中,能夠?qū)崿F(xiàn)面向大數(shù)據(jù)流量的適應(yīng),尤其是在面向以流媒體作為主要流量資源占用的網(wǎng)絡(luò)環(huán)境時(shí),仍然能夠保持穩(wěn)定的表現(xiàn)。此種技術(shù)成本較低且不會(huì)因?yàn)橐肫浼夹g(shù)為網(wǎng)絡(luò)環(huán)境帶來(lái)新的沖突,同時(shí)數(shù)據(jù)信息量大,能夠?qū)崿F(xiàn)更為完善的網(wǎng)絡(luò)分析。
4)NetFlow技術(shù)。此種技術(shù)主要用于實(shí)現(xiàn)網(wǎng)絡(luò)層高性能交換,首先被用于對(duì)網(wǎng)絡(luò)設(shè)備的數(shù)據(jù)交換進(jìn)行加速。但是其核心是對(duì)于流緩存進(jìn)行進(jìn)一步的整理,因此在工作的過(guò)程中必然會(huì)能夠得到很多依據(jù)匯聚方法而統(tǒng)計(jì)的數(shù)據(jù),其中包括諸如源IP、目的IP以及源端口和目的端口以及相關(guān)傳輸協(xié)議與包數(shù)量等,這些信息和統(tǒng)計(jì)數(shù)據(jù)對(duì)于深入展開(kāi)網(wǎng)絡(luò)流量分析有著不容忽視的積極價(jià)值。
3 結(jié)論
在多媒體應(yīng)用的網(wǎng)絡(luò)環(huán)境中,深入可靠的網(wǎng)絡(luò)流量分析系統(tǒng),對(duì)于切實(shí)提升網(wǎng)絡(luò)自身的數(shù)據(jù)傳輸能力,為多媒體用戶提供更為穩(wěn)定的數(shù)據(jù)傳輸服務(wù)有著積極價(jià)值。實(shí)際工作中唯有不斷深入發(fā)現(xiàn)自身網(wǎng)絡(luò)環(huán)境特征,才能有的放矢展開(kāi)有效的流量分析,實(shí)現(xiàn)網(wǎng)絡(luò)環(huán)境優(yōu)化。
參考文獻(xiàn)
【關(guān)鍵詞】流量 分析 抽樣 分類(lèi) 統(tǒng)計(jì)
路由器、交換機(jī)、寬帶接入服務(wù)器是構(gòu)成寬帶網(wǎng)絡(luò)的主要網(wǎng)絡(luò)設(shè)備,一般數(shù)據(jù)網(wǎng)管系統(tǒng)可以看到每一臺(tái)設(shè)備的CPU、內(nèi)存、端口流量、路由數(shù)據(jù)庫(kù)等網(wǎng)絡(luò)信息,但這些流量是怎樣構(gòu)成的,會(huì)對(duì)網(wǎng)絡(luò)產(chǎn)生怎樣的影響,我們無(wú)從知曉。對(duì)寬帶網(wǎng)絡(luò)流量的深入分析,使網(wǎng)絡(luò)設(shè)備流量監(jiān)控系統(tǒng)可以監(jiān)測(cè)的數(shù)據(jù)包括:網(wǎng)絡(luò)流量構(gòu)成分析、使用的協(xié)議、系統(tǒng)負(fù)載、端口分布情況、數(shù)據(jù)應(yīng)用統(tǒng)計(jì)、數(shù)據(jù)安全性、發(fā)送時(shí)間等。網(wǎng)絡(luò)流量分析應(yīng)用可以接收來(lái)自網(wǎng)絡(luò)的各種信息,通過(guò)對(duì)這些數(shù)據(jù)的分析,網(wǎng)絡(luò)管理員可以深入了解網(wǎng)絡(luò)當(dāng)前的運(yùn)行狀況。下面從幾個(gè)方面對(duì)寬帶網(wǎng)絡(luò)流量分析方法進(jìn)行探討:
1 數(shù)據(jù)抽樣
抽樣是指從原始數(shù)據(jù)集中按一定原則抽取部分實(shí)例,構(gòu)成數(shù)據(jù)子集作為觀察對(duì)象。抽樣的目的是為了代表原始數(shù)據(jù)集特性的較小的數(shù)據(jù)集上獲得對(duì)原始數(shù)據(jù)集特性的推斷。數(shù)據(jù)抽樣的方法包括簡(jiǎn)單隨機(jī)抽樣,即按照1/k的頻率,隨機(jī)進(jìn)行抽樣;系統(tǒng)抽樣按數(shù)據(jù)包生成的時(shí)間順序,在抽取第一個(gè)數(shù)據(jù)包后,每隔k個(gè)包抽取一個(gè)包;分層抽樣可對(duì)標(biāo)注過(guò)的每類(lèi)應(yīng)用采用簡(jiǎn)單隨機(jī)抽樣或系統(tǒng)抽樣方式抽取數(shù)據(jù)包;集群抽樣可從多個(gè)子數(shù)據(jù)集中再隨機(jī)抽取若干個(gè)子數(shù)據(jù)集。
為對(duì)數(shù)據(jù)分布進(jìn)行準(zhǔn)確的分析,要用到幾個(gè)簡(jiǎn)單的度量指標(biāo),包括算數(shù)平均值Mean、算數(shù)和S、計(jì)數(shù)C、最小值Min、最大值Max、極差Ed、中列數(shù)Mr、第一個(gè)四分位數(shù)Q1、第三個(gè)四分位數(shù)Q3、中位數(shù)Median、眾數(shù)Mode、離群點(diǎn)Outlier等。設(shè)n個(gè)排序后的觀察:
C=n
Min=x1
Max=x1
Ed=Max-Min
Mr=(Max-Min)/2
Q1=xn/4
Q3=x3n/4
Median=(x[n/2]+x[(n+1)/2])/2
另外,眾數(shù)是指數(shù)據(jù)集中出現(xiàn)頻率最高的數(shù);離群點(diǎn)有時(shí)又稱(chēng)為歧異值,通常是指數(shù)據(jù)集中與數(shù)據(jù)一般行為不一樣的樣本。
2 流量分類(lèi)
網(wǎng)絡(luò)流量分類(lèi)是依據(jù)網(wǎng)絡(luò)應(yīng)用協(xié)議對(duì)應(yīng)的某些參數(shù)或特征,自動(dòng)將網(wǎng)絡(luò)流量分成不同流量種類(lèi)的過(guò)程。流量分類(lèi)一般指將網(wǎng)絡(luò)流量分為多類(lèi),如果是二類(lèi)分類(lèi),則可以使用流量檢測(cè)、流量識(shí)別、流量鑒別等方法。
從網(wǎng)絡(luò)流量分類(lèi)針對(duì)的目標(biāo)粒度,由細(xì)到粗又可以進(jìn)一步分為包級(jí)(packer-level) 、流級(jí)(flow-level)和會(huì)話級(jí)(session-level)。包級(jí)分類(lèi)基于網(wǎng)絡(luò)數(shù)據(jù)包所具有的特征,如包長(zhǎng)、包到達(dá)間隔時(shí)間等,對(duì)每個(gè)數(shù)據(jù)包進(jìn)行分類(lèi);流級(jí)分類(lèi)基于五元組(源IP地址、源端口號(hào)、目的IP地址、目的端口號(hào)和協(xié)議)進(jìn)行分類(lèi),除關(guān)注包級(jí)特征外,通常會(huì)進(jìn)一步考慮流級(jí)得指紋特征,統(tǒng)計(jì)特征或行為特征;會(huì)話級(jí)分類(lèi)基于三元組(源IP地址、目的IP地址和協(xié)議)進(jìn)行分類(lèi),適用于簡(jiǎn)單網(wǎng)絡(luò)服務(wù)環(huán)境的流量粗分類(lèi)。
基于DPI(深度包檢測(cè))的流量分類(lèi)方法通過(guò)分析特定應(yīng)用在通信過(guò)程中的傳輸協(xié)議特征串實(shí)現(xiàn)流量分類(lèi),DPI一般是在應(yīng)用層內(nèi)容搜索特征串,如BitTorrent的某個(gè)TCP數(shù)據(jù)包中包含特征串”0x13BitTorrent”。在基于載荷進(jìn)行DPI的流量分類(lèi)中,DPI流量分類(lèi)需要解決如下幾個(gè)問(wèn)題:非標(biāo)應(yīng)用和私有協(xié)議越來(lái)越多,它們多缺乏公開(kāi)可用的協(xié)議規(guī)范,導(dǎo)致特征串難找易變;某些特征模式的代表性較差,僅能匹配到部分流量,導(dǎo)致檢全率較低;隨機(jī)加密流可能匹配若干模式,導(dǎo)致誤檢率較高;基于協(xié)議語(yǔ)法或數(shù)據(jù)語(yǔ)義分析需要進(jìn)行大量計(jì)算,導(dǎo)致系統(tǒng)時(shí)間和空間開(kāi)銷(xiāo)較大。
3 基于統(tǒng)計(jì)學(xué)習(xí)的流量分析
基于統(tǒng)計(jì)學(xué)習(xí)的流量分析方法通過(guò)計(jì)算特定應(yīng)用流量的統(tǒng)計(jì)信息,利用各種機(jī)器學(xué)習(xí)算法,包括有監(jiān)督學(xué)習(xí)算法和無(wú)監(jiān)督學(xué)習(xí)算法,對(duì)捕獲的網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行鑒別。基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量分類(lèi)通常包含三個(gè)步驟:統(tǒng)計(jì)特性抽取,單包特征如包長(zhǎng),復(fù)合流統(tǒng)計(jì)如均值或標(biāo)準(zhǔn)偏差;分類(lèi)器構(gòu)造及訓(xùn)練;新流量分類(lèi)。
基于機(jī)器學(xué)習(xí)的流量分類(lèi)方法面臨以下幾個(gè)方面的問(wèn)題:難以確定最有效的特征集,既要選擇最佳的n個(gè)特征,使分類(lèi)算法得到最大的分類(lèi)準(zhǔn)確率,同時(shí)要求n的值最??;高維特征導(dǎo)致某些算法收斂時(shí)間長(zhǎng),計(jì)算復(fù)雜性較高,若僅參考從數(shù)據(jù)包頭導(dǎo)出的分類(lèi)特征,如果每個(gè)流用于抽取特征的包數(shù)為n,則收集每個(gè)特征的計(jì)算成本將接近n.log2n;某些算法模型可能陷入局部最優(yōu);分類(lèi)準(zhǔn)確率高度依賴于樣本的先驗(yàn)概率,而訓(xùn)練和測(cè)試樣本對(duì)某類(lèi)流量可能是有偏樣本。
4 總結(jié)
寬帶網(wǎng)絡(luò)流量分析是網(wǎng)絡(luò)運(yùn)營(yíng)管理,網(wǎng)絡(luò)發(fā)展規(guī)劃,網(wǎng)絡(luò)流量調(diào)度和高效能業(yè)務(wù)前瞻的依據(jù)。網(wǎng)絡(luò)流量分析也是網(wǎng)絡(luò)攻擊和惡意代碼檢測(cè)以及流量清洗的重要手段。隨著寬帶網(wǎng)絡(luò)流量的快速增長(zhǎng),骨干網(wǎng)體系架構(gòu)不斷演進(jìn)、扁平化、網(wǎng)狀化、動(dòng)態(tài)自適應(yīng)成為網(wǎng)絡(luò)發(fā)展的趨勢(shì),寬帶網(wǎng)絡(luò)流量分析再次面臨巨大挑戰(zhàn),包括:高速網(wǎng)絡(luò)數(shù)據(jù)實(shí)時(shí)無(wú)損采集、單向流、協(xié)議私有化、加密、P2P、隧道傳輸、缺乏可信數(shù)據(jù)集和評(píng)估標(biāo)準(zhǔn),網(wǎng)絡(luò)流量分析研究工作仍然需要不斷深入與創(chuàng)新。
參考文獻(xiàn)
[1](美)Nader F.Mir,潘淑文.計(jì)算機(jī)與通信網(wǎng)絡(luò)[M].北京:中國(guó)電力出版社,2010(01).
[2]余浩,徐明偉.P2P流檢測(cè)技術(shù)研究綜述[J].清華大學(xué)學(xué)報(bào),2009(49).
[3]彭蕓,劉瓊.Internet 流分類(lèi)方法的比較研究[J].計(jì)算機(jī)科學(xué),2007(34).
[4]汪立東,錢(qián)麗萍.網(wǎng)絡(luò)流量分類(lèi)方法與實(shí)踐[M].京:人民郵電出版社,2013.
關(guān)鍵詞:IP包 流量分析 解析
0 引言
隨著社會(huì)的飛速發(fā)展和網(wǎng)絡(luò)技術(shù)應(yīng)用領(lǐng)域的擴(kuò)展,使得網(wǎng)絡(luò)通信問(wèn)題日益成為人們關(guān)注的焦點(diǎn)。當(dāng)前,人們對(duì)網(wǎng)絡(luò)的需要也日益增多,人們對(duì)網(wǎng)絡(luò)通信也有了越來(lái)越高的要求。通過(guò)Internet的迅速發(fā)展使社會(huì)經(jīng)濟(jì)結(jié)構(gòu)和人們的生活方式發(fā)生了巨大的變化,網(wǎng)絡(luò)服務(wù)越來(lái)越重要,而IP流量正是網(wǎng)絡(luò)管理的重要數(shù)據(jù)基礎(chǔ),通過(guò)IP分析流量數(shù)據(jù),可以幫助網(wǎng)絡(luò)管理員發(fā)現(xiàn)各種惡意網(wǎng)絡(luò)攻擊,對(duì)攻擊源進(jìn)行追溯和定位,從而對(duì)網(wǎng)絡(luò)中的計(jì)算機(jī)進(jìn)行有效的保護(hù)尤其在中小網(wǎng)絡(luò)中網(wǎng)絡(luò)安全起著至關(guān)重要的作用。IP分析中數(shù)據(jù)的統(tǒng)計(jì)是不允許出現(xiàn)任何錯(cuò)誤的。因?yàn)榫W(wǎng)管人員在做好防護(hù)的同時(shí)也要對(duì)IP包進(jìn)行捕獲和流量分析。網(wǎng)絡(luò)上的信息流量是通過(guò)計(jì)算機(jī)的網(wǎng)卡轉(zhuǎn)換把網(wǎng)上的信息展現(xiàn)出來(lái)的,通過(guò)對(duì)流經(jīng)網(wǎng)卡的數(shù)據(jù)包的分析,如果發(fā)現(xiàn)有惡意連接或是異常流量的時(shí)候,網(wǎng)絡(luò)管理員就可以及時(shí)的做出相應(yīng)的措施來(lái)保護(hù)網(wǎng)絡(luò)的通暢和安全,這也就是進(jìn)行IP包流量分析的重要性。
1 IP包流量分析的研究
1.1 IP流量分析
每個(gè)網(wǎng)絡(luò)都有自身的運(yùn)行規(guī)律,對(duì)于每一個(gè)高級(jí)的網(wǎng)絡(luò)管理員,要管理好網(wǎng)絡(luò)上承載關(guān)鍵業(yè)務(wù)的網(wǎng)絡(luò)系統(tǒng),首先要對(duì)自己所管理的網(wǎng)絡(luò)建立深入的了解,提高自身的網(wǎng)絡(luò)管理技術(shù)水平,掌握有效的IP流量分析技術(shù)并能夠在工作中靈活的運(yùn)用。網(wǎng)絡(luò)管理和網(wǎng)絡(luò)的結(jié)構(gòu)、應(yīng)用特點(diǎn)等緊密相關(guān),通過(guò)IP流量分析,能夠幫助網(wǎng)絡(luò)管理人員掌握網(wǎng)絡(luò)系統(tǒng)運(yùn)行的規(guī)律。網(wǎng)絡(luò)上重要的應(yīng)用在運(yùn)行時(shí),如每一次訪問(wèn),每一個(gè)交易處理,數(shù)據(jù)都是通過(guò)網(wǎng)絡(luò)來(lái)傳輸?shù)?,就是這些數(shù)據(jù)的傳輸導(dǎo)致了網(wǎng)絡(luò)流量的產(chǎn)生。通過(guò)分析應(yīng)用運(yùn)行所產(chǎn)生的網(wǎng)絡(luò)流量,能夠清楚的了解應(yīng)用運(yùn)行時(shí)對(duì)網(wǎng)絡(luò)通信的影響。通過(guò)IP流量分析程序可以獲取到數(shù)據(jù)包的內(nèi)容及其數(shù)量。在網(wǎng)絡(luò)帶寬一定的情況下,每個(gè)用戶的網(wǎng)絡(luò)行為都將相互影響,同時(shí)會(huì)對(duì)整個(gè)網(wǎng)絡(luò)的運(yùn)行產(chǎn)生影響。伴隨著每個(gè)用戶在網(wǎng)絡(luò)中的行為都有網(wǎng)絡(luò)流量的產(chǎn)生,通過(guò)對(duì)網(wǎng)絡(luò)用戶的IP流量進(jìn)行分析,能夠直觀地了解網(wǎng)絡(luò)用戶的網(wǎng)絡(luò)使用情況。IP流量分析可以為網(wǎng)絡(luò)和應(yīng)用問(wèn)題的分析提供依據(jù),特別是數(shù)據(jù)包級(jí)的分析,因?yàn)檫@些依據(jù)是真實(shí)的,有效的,它們是實(shí)實(shí)在在的在網(wǎng)絡(luò)中傳輸?shù)臄?shù)據(jù)包,這也是流量分析能夠大大提高網(wǎng)絡(luò)和應(yīng)用問(wèn)題分析效率的原因。IP流量分析是有助于維護(hù)網(wǎng)絡(luò)持續(xù)、高效和安全運(yùn)行的一種手段,IP流量分析有助于網(wǎng)絡(luò)管理員對(duì)網(wǎng)絡(luò)運(yùn)行管理、應(yīng)用運(yùn)行管理和網(wǎng)絡(luò)應(yīng)用問(wèn)題分析。
IP包流量分析的主要方法是通過(guò)實(shí)時(shí)連續(xù)地采集網(wǎng)絡(luò)數(shù)據(jù)并對(duì)其進(jìn)行統(tǒng)計(jì),計(jì)算得到主要成分性能指標(biāo),結(jié)合網(wǎng)絡(luò)流量的原理,通過(guò)統(tǒng)計(jì)出的性能指數(shù)觀察網(wǎng)絡(luò)狀態(tài),分析出網(wǎng)絡(luò)流量變化的趨勢(shì),找出影響網(wǎng)絡(luò)性能的因素。
1.2 系統(tǒng)總體設(shè)計(jì)
通過(guò)研究與分析簡(jiǎn)單IP包流量分析程序的用戶需求可以發(fā)現(xiàn),用戶需要系統(tǒng)實(shí)現(xiàn)對(duì)本機(jī)基本信息的獲取,如IP地址,主機(jī)名,MAC地址和子網(wǎng)掩碼等信息;需要實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)流量的監(jiān)控,即對(duì)流入和流出網(wǎng)卡的數(shù)據(jù)包進(jìn)行檢測(cè)并對(duì)數(shù)據(jù)包的長(zhǎng)度進(jìn)行累加,從而得到流量數(shù)據(jù),最后將網(wǎng)絡(luò)輸入流量,網(wǎng)絡(luò)輸出流量,網(wǎng)絡(luò)總流量能在對(duì)話框?qū)?yīng)的網(wǎng)格處顯示;需要實(shí)現(xiàn)捕獲流經(jīng)本計(jì)算機(jī)網(wǎng)卡的所有數(shù)據(jù)包,對(duì)所獲取到的數(shù)據(jù)包進(jìn)行解析,從而得到相關(guān)信息,如源地址,源端口,目的地址,目的端口,數(shù)據(jù)包的協(xié)議類(lèi)型,數(shù)據(jù)包大小,數(shù)據(jù)等信息。根據(jù)分析IP包流量分析系統(tǒng)可以具有三個(gè)主要功能部分:基本信息顯示、網(wǎng)絡(luò)流量監(jiān)控、IP包解析。系統(tǒng)設(shè)計(jì)圖如圖1所示。
1.2.1 基本信息模塊
對(duì)于一臺(tái)計(jì)算機(jī)來(lái)說(shuō),一般只有一個(gè)計(jì)算機(jī)名稱(chēng),但是可以有多個(gè)IP地址。例如當(dāng)計(jì)算機(jī)通過(guò)撥號(hào)上網(wǎng)的時(shí)候,在驗(yàn)證完用戶名和口令以后,就會(huì)動(dòng)態(tài)分配一個(gè)IP地址,此時(shí)計(jì)算機(jī)就擁有了兩個(gè)IP地址,一個(gè)是自己設(shè)定的局域網(wǎng)用的IP地址,另外一個(gè)就是撥號(hào)上網(wǎng)動(dòng)態(tài)分配的IP地址了。
基本信息模塊實(shí)現(xiàn)的主要功能是獲取本機(jī)的主機(jī)名和本機(jī)IP地址,并以對(duì)話框的形式顯示出來(lái)。此模塊中所獲取的IP地址是自己設(shè)定的局域網(wǎng)用的IP地址,而不是撥號(hào)上網(wǎng)時(shí)動(dòng)態(tài)分配的隨機(jī)IP地址。它設(shè)計(jì)的主要目的是為了方便網(wǎng)絡(luò)管理人員快捷地了解本機(jī)的一些基本信息。
1.2.2 網(wǎng)絡(luò)流量監(jiān)控模塊
網(wǎng)絡(luò)管理人員一般會(huì)根據(jù)計(jì)算機(jī)在不同時(shí)段的網(wǎng)絡(luò)流量變化情況來(lái)對(duì)計(jì)算機(jī)進(jìn)行各項(xiàng)參數(shù)的優(yōu)化,以及了解是否存在異常流量。而對(duì)于個(gè)人用戶來(lái)說(shuō),實(shí)時(shí)了解本機(jī)網(wǎng)絡(luò)流量情況是很重要的,尤其是對(duì)那些撥號(hào)上網(wǎng)的用戶,對(duì)網(wǎng)絡(luò)流量的了解可以有效的幫助他們節(jié)約上網(wǎng)費(fèi)用。
網(wǎng)絡(luò)流量監(jiān)控程序的本質(zhì)是對(duì)流入和流出網(wǎng)卡(Modern)的數(shù)據(jù)包進(jìn)行測(cè)量,在單位時(shí)間內(nèi)的流入量實(shí)際上就是在單位時(shí)間里流入網(wǎng)卡的數(shù)據(jù)包的字節(jié)數(shù),在單位時(shí)間內(nèi)的流出量實(shí)際上就是在單位時(shí)間內(nèi)流出網(wǎng)卡的數(shù)據(jù)包的字節(jié)數(shù)。而總流量就是流入量和流出量之和。
1.2.3 IP包解析模塊
因?yàn)橐东@經(jīng)過(guò)網(wǎng)卡的所有數(shù)據(jù)包,需要將網(wǎng)卡設(shè)置為混雜模式。在實(shí)際編程的過(guò)程中,通過(guò)使用網(wǎng)絡(luò)嗅探器可以把網(wǎng)卡設(shè)置于混雜模式,并可實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包的捕獲與分析。在網(wǎng)絡(luò)安全方面,網(wǎng)絡(luò)嗅探手段可以有效地探測(cè)在網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)包信息,通過(guò)對(duì)這些信息的分析利用將有助于對(duì)網(wǎng)絡(luò)安全進(jìn)行維護(hù)。IP包解析模塊就是通過(guò)使用網(wǎng)絡(luò)嗅探器技術(shù)來(lái)實(shí)現(xiàn)完成的。
2 IP包解析模塊的實(shí)現(xiàn)
IP包解析模塊是系統(tǒng)實(shí)現(xiàn)的重要模塊,在實(shí)現(xiàn)中主要實(shí)現(xiàn)函數(shù)見(jiàn)表1。
3 結(jié)束語(yǔ)
IP包流量分析系統(tǒng)是一個(gè)相對(duì)復(fù)雜的系統(tǒng),通過(guò)研究需求設(shè)計(jì)了系統(tǒng)的主體框架,通過(guò)編寫(xiě)套接字、訪問(wèn)注冊(cè)表等方法實(shí)現(xiàn)了系統(tǒng)部分主要功能,下一步準(zhǔn)備完成詳細(xì)指標(biāo)分析等功能。
參考文獻(xiàn):
[1]楊延雙,王全民.TCP/IP協(xié)議分析及應(yīng)用[M].北京:機(jī)械工業(yè)出版社,2009.
關(guān)鍵詞 流量;分類(lèi);檢測(cè);統(tǒng)計(jì);分析
中圖分類(lèi)號(hào) TN91 文獻(xiàn)標(biāo)識(shí)碼 A 文章編號(hào) 1674-6708(2016)166-00104-01
近年來(lái)寬帶網(wǎng)絡(luò)一直保持高速增長(zhǎng),光纖到桌面已基本實(shí)現(xiàn),但網(wǎng)絡(luò)中巨大的流量會(huì)對(duì)網(wǎng)絡(luò)產(chǎn)生怎樣的影響,這些流量是如何構(gòu)成的,始終是一個(gè)問(wèn)題。通過(guò)對(duì)寬帶流量的分析我們可以知道流量的源頭和目的、知道協(xié)議分布、知道端口情況、知道通信經(jīng)營(yíng)指標(biāo)等、當(dāng)然最重要的還有數(shù)據(jù)的安全性。
不同的網(wǎng)絡(luò),不同觀察點(diǎn),不同時(shí)間的網(wǎng)絡(luò)流量因網(wǎng)絡(luò)規(guī)模,業(yè)務(wù)種類(lèi),用戶構(gòu)成和使用習(xí)慣的不同而不同,甚至受突發(fā)事件的影響,網(wǎng)絡(luò)流量在體量規(guī)模,構(gòu)成成分和比例上都有所不同。一個(gè)好的流量分類(lèi)分析系統(tǒng),應(yīng)滿足部署位置上的可移植性,流量規(guī)模的可伸縮性,時(shí)間演進(jìn)的自適應(yīng)性。這時(shí)系統(tǒng)不僅需要采用先進(jìn)的分類(lèi)技術(shù),也需要代表性的訓(xùn)練數(shù)據(jù)集來(lái)確定系統(tǒng)運(yùn)行參數(shù)。數(shù)據(jù)集主要采用2種方式:PCAP格式和NETFLOW格式,前者捕獲的是包級(jí)記錄,后者則是關(guān)于流級(jí)得統(tǒng)計(jì)信息記錄。
寬帶流量的分析和檢測(cè)首先要進(jìn)行流量的采集,這項(xiàng)工作可以通過(guò)交換機(jī)或路由器的鏡像端口實(shí)現(xiàn),也可以通過(guò)光纜分光的方式實(shí)現(xiàn)。對(duì)捕獲的數(shù)據(jù)進(jìn)行計(jì)算和統(tǒng)計(jì),并把統(tǒng)計(jì)數(shù)據(jù)寫(xiě)入數(shù)據(jù)庫(kù),定期形成網(wǎng)絡(luò)性能和流量參數(shù)的報(bào)表,用作分析的依據(jù),在形成足夠數(shù)量的報(bào)表數(shù)據(jù)后,可以分析數(shù)據(jù)和系統(tǒng)性能變化的趨勢(shì),判斷網(wǎng)絡(luò)是否存在瓶頸,并依據(jù)經(jīng)驗(yàn),形成經(jīng)驗(yàn)數(shù)據(jù)庫(kù),使網(wǎng)管系統(tǒng)具備學(xué)習(xí)的基礎(chǔ)和能力。在出現(xiàn)告警或異常情況時(shí),可用來(lái)分析對(duì)比,判斷是否出現(xiàn)了網(wǎng)絡(luò)的攻擊和入侵,判斷惡意數(shù)據(jù)出現(xiàn)的源頭和特征,足夠數(shù)量的數(shù)據(jù)報(bào)表也可以指導(dǎo)各類(lèi)應(yīng)急預(yù)案的制定,在出現(xiàn)異常情況時(shí)可按照事先擬定的規(guī)則進(jìn)行處理。
對(duì)于寬帶流量的分析和分類(lèi),系統(tǒng)需要進(jìn)行統(tǒng)計(jì)模型的學(xué)習(xí),統(tǒng)計(jì)模型的學(xué)習(xí)可以分為監(jiān)督學(xué)習(xí)和非監(jiān)督學(xué)習(xí)方法。所謂的監(jiān)督學(xué)習(xí)是需要使用已經(jīng)標(biāo)注過(guò)的數(shù)據(jù)集合作為經(jīng)驗(yàn)知識(shí),對(duì)寬帶流量的參數(shù)和算法進(jìn)行訓(xùn)練;而非監(jiān)督學(xué)習(xí)則不需要使用已經(jīng)標(biāo)注過(guò)的數(shù)據(jù)集進(jìn)行訓(xùn)練,只是根據(jù)相關(guān)算法對(duì)寬帶流量集進(jìn)行匯聚。對(duì)數(shù)據(jù)集的訓(xùn)練過(guò)程中需要由經(jīng)驗(yàn)豐富的專(zhuān)家參與,并進(jìn)行大量的基礎(chǔ)數(shù)據(jù)分析工作,網(wǎng)絡(luò)經(jīng)驗(yàn)數(shù)據(jù)集是流量分析的重要構(gòu)成因素。在實(shí)際分析過(guò)程中,由于寬帶核心網(wǎng)絡(luò)的流量巨大,所以高性能的預(yù)處理路由器和大規(guī)模刀片服務(wù)器必不可少。為了提高分析效率,可以只分析單向流量,并且在預(yù)處理過(guò)程中將IP數(shù)據(jù)報(bào)文的載荷去掉。但由于各種網(wǎng)絡(luò)協(xié)議不斷演進(jìn),加密的流量不斷增加,各種新應(yīng)用不斷出現(xiàn),網(wǎng)絡(luò)數(shù)據(jù)集的標(biāo)注也變得越來(lái)越困難。
網(wǎng)絡(luò)流量的分類(lèi)和分析中對(duì)于標(biāo)準(zhǔn)協(xié)議的分析最為準(zhǔn)確,可根據(jù)TIP/IP協(xié)議簇中標(biāo)準(zhǔn)的服務(wù)端口號(hào)對(duì)流量報(bào)文進(jìn)行匹配,并根據(jù)端口號(hào)的不同將流量對(duì)應(yīng)為不同的應(yīng)用。非標(biāo)準(zhǔn)協(xié)議可以使用DPI(深度包檢測(cè))在應(yīng)用層對(duì)流量進(jìn)行特征字符串的分析匹配,由于不同的應(yīng)用在TCP/UDP的數(shù)據(jù)包中包含特征字符串,因此在掌握的不同網(wǎng)絡(luò)應(yīng)用的特征字符串后,可以將網(wǎng)絡(luò)流量精確的分類(lèi)和匹配,缺點(diǎn)是需要消耗較多的系統(tǒng)資源。但很多網(wǎng)絡(luò)應(yīng)用的特征字符串難找易變,代表性差及加密度高等問(wèn)題,也導(dǎo)致誤檢率和檢全率下降。流量分析監(jiān)控和網(wǎng)絡(luò)應(yīng)用的發(fā)展一直是不斷演變的矛盾。
基于協(xié)議的分類(lèi)方法需要分析每種協(xié)議的特定的行為特性,標(biāo)準(zhǔn)的通信協(xié)議易于掌握,私有協(xié)議比如P2P或VOIP等基于軟硬件客戶端的應(yīng)用則會(huì)有較多的變化,或進(jìn)行加密使用就會(huì)影響流量分析的效果,甚至無(wú)法識(shí)別。有時(shí)同一應(yīng)用軟件的不同版本間也會(huì)出現(xiàn)不同的流量特征,即版本的變化會(huì)造成協(xié)議特征的變化。另外,網(wǎng)絡(luò)中的單向流量、數(shù)據(jù)的時(shí)延、抖動(dòng)都會(huì)對(duì)流量分析的算法產(chǎn)生影響。以上這些因素都是流量分析的難點(diǎn)和痛點(diǎn)。
運(yùn)營(yíng)商的骨干網(wǎng)絡(luò)逐漸向扁平化發(fā)展,網(wǎng)絡(luò)出口的數(shù)量增加和結(jié)構(gòu)日趨復(fù)雜,及動(dòng)態(tài)路由算法的大量使用,使得網(wǎng)絡(luò)流量在多條鏈路或多個(gè)不同ISP之間動(dòng)態(tài)調(diào)配,導(dǎo)致在某個(gè)觀察點(diǎn)只能得到部分流量,這對(duì)于依賴雙向流量特征的分析方法無(wú)法實(shí)施?;赑2P的應(yīng)用目前也在不斷擴(kuò)大,P2P的發(fā)展使得應(yīng)用和傳輸分離,應(yīng)用端點(diǎn)和傳輸分離,打破了原有的B/S或C/S的傳統(tǒng)傳輸模式,多源頭并發(fā)傳輸使得流量特征模糊化,使得數(shù)據(jù)采集的有效性無(wú)法保障。還有一些網(wǎng)絡(luò)應(yīng)用為了逃避被檢測(cè)到,常常采用已知協(xié)議的方法,例如FTP、HTTP、POP3等,由于IP地址的區(qū)分,冒用已知協(xié)議并不會(huì)影響正常網(wǎng)絡(luò)通信,但給流量分析帶來(lái)很大難度。
寬帶網(wǎng)絡(luò)流量分析不僅可以使我們可以清楚的知道網(wǎng)絡(luò)流量的內(nèi)容,還可以為網(wǎng)絡(luò)建設(shè)、網(wǎng)絡(luò)優(yōu)化、運(yùn)營(yíng)管理、網(wǎng)絡(luò)安全保障提供依據(jù)和手段。同時(shí),網(wǎng)絡(luò)應(yīng)用在不斷推陳出新,各種私有化的協(xié)議和加密方法不斷出現(xiàn),且由于用戶接入帶寬的不斷提高,核心網(wǎng)流量呈幾何速度增長(zhǎng),這些因素在客觀上也大大增加了網(wǎng)絡(luò)流量分析的難度和成本?,F(xiàn)有的網(wǎng)絡(luò)流量分析再次面臨挑戰(zhàn),網(wǎng)絡(luò)流量的分析研究工作需要不斷深入進(jìn)行。
參考文獻(xiàn)
[1]Nader F.Mir.計(jì)算機(jī)與通信網(wǎng)絡(luò)[M].潘淑文,等,譯.北京:中國(guó)電力出版社,2010,1.
[2]余浩,徐明偉.P2P流檢測(cè)技術(shù)研究綜述[J].清華大學(xué)學(xué)報(bào),2009(4):610-620.