序論：在您撰寫大數(shù)據(jù)應(yīng)用論文時，參考他人的優(yōu)秀作品可以開闊視野，小編為您整理的1篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導(dǎo)您走向新的創(chuàng)作高度。

大數(shù)據(jù)應(yīng)用論文:醫(yī)療衛(wèi)生系統(tǒng)中大數(shù)據(jù)的應(yīng)用

摘要：近年來醫(yī)療衛(wèi)生信息化發(fā)展迅速，醫(yī)療衛(wèi)生領(lǐng)域也迎來了大數(shù)據(jù)時代的潮流。簡述了醫(yī)療衛(wèi)生系統(tǒng)中數(shù)據(jù)資源現(xiàn)狀，分析了通過大數(shù)據(jù)平臺構(gòu)建臨床決策支持系統(tǒng)、提高醫(yī)藥產(chǎn)品研發(fā)效率、疾病監(jiān)控防治等方面的應(yīng)用前景。

關(guān)鍵詞：大數(shù)據(jù)；醫(yī)療衛(wèi)生系統(tǒng)

1數(shù)據(jù)管理問題

醫(yī)療數(shù)據(jù)是持續(xù)、大量增長的大數(shù)據(jù)。根據(jù)估算，中國一個中等城市50年所積累的醫(yī)療數(shù)據(jù)量就會達到10PB級。并且，隨著時間的推移和業(yè)務(wù)系統(tǒng)的不斷升級換代，醫(yī)療數(shù)據(jù)模式的一致性也無法保證。因此，每天都會有大量的數(shù)據(jù)持續(xù)不斷地導(dǎo)入?yún)^(qū)域醫(yī)療數(shù)據(jù)中心，并且每當(dāng)有數(shù)據(jù)模式的更改，相關(guān)的歷史數(shù)據(jù)也需要做相應(yīng)的調(diào)整。由于醫(yī)療數(shù)據(jù)是多種數(shù)據(jù)源數(shù)據(jù)的匯總，醫(yī)療數(shù)據(jù)是關(guān)系復(fù)雜的多維數(shù)據(jù)。醫(yī)療數(shù)據(jù)的多維度多粒度為各種信息服務(wù)的多角度多層次分析提供了可能，但同時也為大數(shù)據(jù)分析帶來了挑戰(zhàn)。Hadoop基于開源分布式數(shù)據(jù)處理平臺，通過特殊的方式組織網(wǎng)絡(luò)級數(shù)據(jù)，可以解決數(shù)據(jù)存儲水平擴展的挑戰(zhàn)。利用MapReduce并行處理批量事務(wù)的能力，從多個數(shù)據(jù)源（主要是醫(yī)療機構(gòu)的各個業(yè)務(wù)系統(tǒng)）抽取數(shù)據(jù)、轉(zhuǎn)換格式、并導(dǎo)入基于HBase的數(shù)據(jù)存儲模型。使用Hadoop進行多維分析，利用數(shù)據(jù)平臺中多維數(shù)據(jù)非結(jié)構(gòu)化的特征，將大量冗余的維度信息整合到事實表中，可以在冗余維度下靈活地改變問題分析的角度。并結(jié)合Hadoop,MapReduce強大的并行化處理能力，無論分析中的維度增加多少，開銷并不顯著增長，不會顯著影響分析的性能。

2大數(shù)據(jù)應(yīng)用

2.1構(gòu)建臨床決策支持系統(tǒng)

臨床決策支持系統(tǒng)可以提高工作效率和診療質(zhì)量。通過分析疾病的模式和趨勢，臨床決策支持系統(tǒng)分析醫(yī)生輸入的條目，比較其與醫(yī)學(xué)指引不同的地方，從而提醒醫(yī)生防止?jié)撛诘腻e誤，如藥物不良反應(yīng)。通過部署這些系統(tǒng)，醫(yī)療服務(wù)提供方可以降低醫(yī)療事故率和索賠數(shù)，尤其是那些臨床錯誤引起的醫(yī)療事故。共享的醫(yī)療大數(shù)據(jù)分析技術(shù)將使臨床決策支持系統(tǒng)更智能，首先，大數(shù)據(jù)中心存儲的海量、高維和非結(jié)構(gòu)化的數(shù)據(jù)能夠被檢索，由于對非結(jié)構(gòu)化數(shù)據(jù)的分析能力的日益加強，從而獲取更多的決策支持信息。比如可以使用圖像分析和識別技術(shù)，識別醫(yī)療影像(X光、CT、MRI)數(shù)據(jù)，結(jié)合患者的電子病歷信息，得到輔助的治療信息?；蛘咄诰蜥t(yī)療文獻數(shù)據(jù)建立醫(yī)療專家數(shù)據(jù)庫和醫(yī)學(xué)知識倉庫，為醫(yī)生提供一個決策和清單，在錄入癥狀和檢驗結(jié)果后，做是非判斷等集合算法，根據(jù)不同病種，建立決策樹算法，逐漸得出診斷結(jié)果和治療方案，為醫(yī)生的臨床操作提供建議，防止醫(yī)生忽略可能存在的罕見疾病，防止誤診。此外，臨床決策支持系統(tǒng)還可以使醫(yī)療流程中大部分的工作流流向護理人員和助理醫(yī)生，將常規(guī)的醫(yī)生問診程序化和模式化，結(jié)合檢驗化驗等技術(shù)手段，醫(yī)生只需參與最后的決策和治療環(huán)節(jié)。使醫(yī)生從耗時過長的簡單咨詢工作中解脫出來，從而提高治療效率。

2.2提高醫(yī)藥產(chǎn)品研發(fā)效率

2.2.1預(yù)測建模

醫(yī)藥公司在新藥物的研發(fā)階段，可以通過數(shù)據(jù)建模和分析，確定最有效率的投入產(chǎn)出比，從而配備最佳資源組合。模型基于藥物臨床試驗階段之前的數(shù)據(jù)集及早期臨床階段的數(shù)據(jù)集，盡可能及時地預(yù)測臨床結(jié)果。評價因素包括產(chǎn)品的安全性、有效性、潛在的副作用和整體的試驗結(jié)果。通過預(yù)測建模可以降低醫(yī)藥產(chǎn)品公司的研發(fā)成本，在通過數(shù)據(jù)建模和分析預(yù)測藥物臨床結(jié)果后，可以暫緩研究次優(yōu)的藥物，或者停止在次優(yōu)藥物上的昂貴的臨床試驗。除了研發(fā)成本，醫(yī)藥公司還可以更快地得到回報。通過數(shù)據(jù)建模和分析，醫(yī)藥公司可以將藥物更快推向市場，生產(chǎn)更有針對性的藥物，有更高潛在市場回報和治療成功率的藥物。

2.2.2提高臨床試驗設(shè)計的統(tǒng)計工具和算法

使用統(tǒng)計工具和算法，可以提高臨床試驗設(shè)計水平，并在臨床試驗階段更容易地招募到患者。通過挖掘病人數(shù)據(jù)，評估招募患者是否符合試驗條件，從而加快臨床試驗進程，提出更有效的臨床試驗設(shè)計建議，并能找出最合適的臨床試驗基地。比如那些擁有大量潛在符合條件的臨床試驗患者的試驗基地可能是更理想的，或者在試驗患者群體的規(guī)模和特征二者之間找到平衡。

2.2.3臨床實驗數(shù)據(jù)的分析

分析臨床試驗數(shù)據(jù)和病人記錄可以確定藥品更多的適應(yīng)癥和發(fā)現(xiàn)副作用。在對臨床試驗數(shù)據(jù)和病人記錄進行分析后，可以對藥物進行重新定位，或者實現(xiàn)針對其他適應(yīng)癥的營銷。實時或者近乎實時地收集不良反應(yīng)報告可以促進藥物警戒(藥物警戒是上市藥品的安全保障體系，對藥物不良反應(yīng)進行監(jiān)測、評價和預(yù)防)?；蛘咴谝恍┣闆r下，臨床實驗暗示出了一些情況但沒有足夠的統(tǒng)計數(shù)據(jù)去證明，現(xiàn)在基于臨床試驗大數(shù)據(jù)的分析可以給出證據(jù)。

2.3基于大數(shù)據(jù)的疾病監(jiān)控防治

大數(shù)據(jù)的使用可以改善公眾健康監(jiān)控。首先，隨著移動互聯(lián)網(wǎng)現(xiàn)在的不斷發(fā)展，越來越多的用戶開始選擇把業(yè)務(wù)和使用習(xí)慣都轉(zhuǎn)移到了移動端，那么，在基于海量數(shù)據(jù)用戶搜索的社交APP以及LBS等技術(shù)層面，可以建立結(jié)合原有疾病監(jiān)控系統(tǒng)中的流行疾病法定報告數(shù)據(jù)、流行疾病病例，結(jié)合疾病、環(huán)境數(shù)據(jù)，及時發(fā)現(xiàn)并繪制出流行病風(fēng)險地圖。在基于搜索數(shù)據(jù)和LBS數(shù)據(jù)方面，分析不同時空尺度人口流動性、移動模式和參數(shù)進一步結(jié)合病原學(xué)、人口統(tǒng)計學(xué)、地理、氣象和人群移動遷徙、地域之間等因素和信息，建立流行病時空傳播模型，確定流感等流行病在各流行區(qū)域間傳播的時空路線和規(guī)律，得到更加準確的態(tài)勢評估、預(yù)測。并且，通過醫(yī)療云和大數(shù)據(jù)中心，公共衛(wèi)生部門可以通過覆蓋全國的患者電子病歷數(shù)據(jù)庫，分析疾病的模式和趨勢快速檢測大規(guī)模傳染性疾病進行全面的疫情監(jiān)測，并通過集成疾病監(jiān)測和響應(yīng)程序，快速采取措施進行響應(yīng)。這基于大數(shù)據(jù)的疾病監(jiān)控防治能使傳染病感染率降低，衛(wèi)生部門可以更快地檢測出新的傳染病和疫情。通過提供準確和及時的公眾健康咨詢，將會大幅提高公眾健康風(fēng)險意識，同時也將降低傳染病感染風(fēng)險。大數(shù)據(jù)共享在疾病監(jiān)控防治中可以做到以下幾點：

（1）提前確定一定規(guī)模的未知疾病，為疫情控制爭取時間。傳統(tǒng)檢測無法監(jiān)測到任何沒有臨床癥狀的病例的，這些經(jīng)驗在醫(yī)院的臨床經(jīng)驗中都是空白。但大數(shù)據(jù)可以通過醫(yī)院的共享信息以及搜索監(jiān)控指定地區(qū)的用戶的頻繁搜索關(guān)鍵詞，可以檢測到某個地區(qū)已經(jīng)出現(xiàn)的疫情。比如不明原因的肺炎，某地餐館讓多少人出現(xiàn)嘔吐腹瀉等異常狀況等，然后再通過與疾病控制中心的病毒庫中的病毒分析，尋找吻合的病毒，進行比對分析將其找出，為判斷疾病贏取時間。建立大數(shù)據(jù)中心后，疾病預(yù)防可以真正在第一時間內(nèi)去判斷出疫情的病毒源，進而為控制爭取時間。疾病監(jiān)控防治的目的是及時制止其傳播的范圍，而大數(shù)據(jù)則是目前唯一的也是最佳的途徑。

（2）判斷人員流向，控制疫情。在疫情發(fā)生后，雖然國家可以第一時間控制住當(dāng)?shù)匾咔?，但是人員流動則是無法控制的。利用大數(shù)據(jù)的監(jiān)控分析就能監(jiān)測到傳染源區(qū)人員的主要流向目的地，疾控中心可以拿出對應(yīng)的醫(yī)療技術(shù)和對應(yīng)的治療藥品以及疫苗來防治，第一時間趕到相應(yīng)地點，實施接種疫苗，這樣一來就減少了盲目的廣撒網(wǎng)式的全面布局情況，通過大數(shù)據(jù)分析的提供人員流動數(shù)據(jù)，讓控制疫情在效率上大幅度提升。

（3）傳播動力學(xué)模型建立。擁有了大數(shù)據(jù)的全面監(jiān)控后，疾控中心也就有了更多的實踐支持，就可以開始真正從實踐中建立有關(guān)疫情的復(fù)雜動態(tài)網(wǎng)絡(luò)的傳播動力學(xué)。

作者:林青 單位:西安培華學(xué)院

大數(shù)據(jù)應(yīng)用論文:4G移動網(wǎng)絡(luò)的大數(shù)據(jù)與云計算技術(shù)應(yīng)用

摘要：

本文通過對云計算以及4G網(wǎng)絡(luò)的定義和特點進行分析，提出了在4G移動網(wǎng)絡(luò)平臺上采用云計算技術(shù)處理城市智能交通系統(tǒng)中的大數(shù)據(jù)問題，主要是結(jié)合二者的優(yōu)勢分析智能交通系統(tǒng)的功能，并加以實現(xiàn)，這將給緩解交通壓力、提高行車效率等提供便利。最后對未來智能交通系統(tǒng)開發(fā)與應(yīng)用進行展望。

關(guān)鍵詞：4G網(wǎng)絡(luò)；大數(shù)據(jù)；云計算；智能交通；交通云

隨著人們生活水平的提高，汽車逐漸進入到普通家庭，這無疑對道路交通的要求也越來越高，為提高道路行車效率，迫切需要建設(shè)一個高性能的智能交通系統(tǒng)（IntelligentTransportationSystems，ITS），以滿足大家的需求。

1智能交通系統(tǒng)的概念

智能交通系統(tǒng)（IntelligentTransportationSystems，ITS）指的是建立在較完善的基礎(chǔ)設(shè)施之上，將先進的信息技術(shù)、計算機處理技術(shù)、數(shù)據(jù)通訊傳輸技術(shù)、電子傳感技術(shù)及電子控制技術(shù)等有效組合在一起，并運用于整個交通運輸管理體系中，從而能夠在大范圍、全天候發(fā)揮作用，建立起的一種準確、實時、高效的綜合運輸和管理系統(tǒng)[1]。依據(jù)智能交通系統(tǒng)的概念，我們可以看出，為了解決社會不斷增加的交通需求與有限的道路資源之間的矛盾，使有限的道路資源能被充分利用，提高人們的出行效率，保障人們出行安全，智能交通系統(tǒng)作為信息、通信、傳感與控制技術(shù)綜合運用的產(chǎn)物，能給人們帶來便捷。但目前，我國城市交通仍面臨著許多嚴重問題，如成都，作為西南地區(qū)的一個大型城市，雖然其承載能力越來越強，路網(wǎng)體系也日趨完善，但隨著汽車保有量的強勁增長，道路供需關(guān)系依然非常嚴峻。據(jù)成都市交管局數(shù)據(jù)顯示，截至2014年3月，成都地區(qū)的汽車保有量突破268.59萬輛大關(guān)，中心城區(qū)突破114.18萬輛，這個數(shù)據(jù)僅次于北京。而且成都已月均增2萬新車，并持續(xù)了62個月。一天就會產(chǎn)生數(shù)百億條GPS數(shù)據(jù)，而車牌識別信息、交通監(jiān)控視頻信息等數(shù)據(jù)量更大，交通相關(guān)的數(shù)據(jù)量也早以從TB級躍升到PB級[2]，因此，如果要實現(xiàn)對城市道路的交通流量信息、交通狀況、交通違法行為等的全面監(jiān)測，特別是承擔(dān)在交通高峰期采集、處理及分析大量的實時監(jiān)測數(shù)據(jù)的工作，整個平臺的運行壓力將會非常巨大，大數(shù)據(jù)（bigdata）就此產(chǎn)生，大數(shù)據(jù)分析交通除了流量及車輛的相關(guān)信息外，還必須包括路面情況、天氣、突發(fā)情況、周邊環(huán)境等諸多因素，傳統(tǒng)的交通數(shù)據(jù)分析法已很難有效處理如此龐大的數(shù)據(jù)的問題。城市智能交通應(yīng)具備的特點和需求分析如下。

1.1數(shù)據(jù)信息海量化

整個城市的交通行為主體作為城市智能交通的分析對象，海量數(shù)據(jù)必然成為固有特性。

1.2應(yīng)用負載變化大

城市交通流特性呈現(xiàn)出區(qū)域關(guān)聯(lián)性強，隨時間變化大的特點，系統(tǒng)需要根據(jù)實時的交通流數(shù)據(jù)，做出全面采集、分析、處理等。而傳統(tǒng)的智能交通方案由于無法在全局上統(tǒng)籌，往往會因此陷入彼此孤立的情形。

1.3高穩(wěn)定性和高可用性

只有要求城市智能交通系統(tǒng)具有高可用性和高穩(wěn)定性，才能更好地、更快捷地提供暢通、安全、高品質(zhì)的行程服務(wù)，以保障交通運輸?shù)母甙踩?、高時效和高準確性，讓政府、社會和公眾感覺到方便。而目前的很多方案中，由于各生產(chǎn)廠商繁雜、設(shè)備類型眾多、質(zhì)量參差不齊，而國內(nèi)也缺乏統(tǒng)一的標(biāo)準，這樣不僅系統(tǒng)維護成本高，而且也很難做到保持智能交通系統(tǒng)的高穩(wěn)定性。

1.4數(shù)據(jù)共享需求

目前，正在建設(shè)中的智能城市交通系統(tǒng)，大量的終端設(shè)備出自不同的廠商或不同平臺，這樣就形成了許許多多的信息孤島，彼此間很難實現(xiàn)共享數(shù)據(jù)。這在很大程度上影響了系統(tǒng)功能的充分實現(xiàn)，智能交通系統(tǒng)在硬件、接口上應(yīng)做的統(tǒng)一，從而使行業(yè)信息資源的全面整合與共享成為智能交通發(fā)揮整體方案優(yōu)勢、整體統(tǒng)籌資源、統(tǒng)一協(xié)調(diào)的基礎(chǔ)。

1.5信息實時處理性能要求高

隨著城市交通的擁堵日趨嚴重，人們在出行時要求能隨時隨地通過熟悉的方式獲取所需的出行計劃和實時的出行信息，因此，未來的智能交通需要滿足高效性、實時性的要求。

2大數(shù)據(jù)與云計算技術(shù)對智能交通系統(tǒng)的影響與應(yīng)用

云計算（cloudcomputing）是將計算任務(wù)分布在大量互聯(lián)的計算機構(gòu)成的資源池上，使各種應(yīng)用系統(tǒng)能夠根據(jù)需要獲取存儲空間、計算力和各種軟件服務(wù)，該資源池被稱為“云”。“云”是指一些可以自我管理和維護的虛擬計算資源，通常包括寬帶資源、計算服務(wù)器、存儲服務(wù)器等大型服務(wù)器集群[3]。而云計算（cloudcomputing）是一種基于互聯(lián)網(wǎng)平臺的計算方式，為計算資源提供全新的計算模式，其服務(wù)方式可動態(tài)、伸縮且虛擬化，云計算技術(shù)還會將所有的計算資源匯集在一起，并通過軟件實現(xiàn)對資源的自動高效管理。這使用戶能更加專注于自己的業(yè)務(wù)，無需為繁瑣的處理細節(jié)感到煩惱。云計算技術(shù)之所以能有效處理和應(yīng)對交通數(shù)據(jù)量大、可用性高、穩(wěn)定性要求高、信息實時處理要求高、應(yīng)用負載波動大、數(shù)據(jù)共享需求大等問題，并能實現(xiàn)應(yīng)用的靈活性，高效整合資源，降低運維成本和總能耗，很大程度上是源于其自身的高可靠性、彈性擴容性好、快速部署及按需服務(wù)的特性。云計算技術(shù)以其高度的信息部署、優(yōu)異的擴展性以及自動化IT資源調(diào)度，成為解決智能交通面臨的問題的關(guān)鍵技術(shù)手段，成為一種全新概念的信息服務(wù)模式，有助于智能交通系統(tǒng)的快速實現(xiàn)。建設(shè)基于“云計算”的智能交通系統(tǒng)，要實現(xiàn)交通信息的動態(tài)采集、分析、處理及，并及時向用戶提交動態(tài)交通信息，報告路況動態(tài)變化信息，指導(dǎo)用戶出行計劃，規(guī)劃用戶行車線路，從而有效提前進行分流擁堵流量，從而提高交通通行效率[4]。其具體應(yīng)用如下。

（1）城市中的車、人或設(shè)備等每個交通終端節(jié)點，均可以實時地通過交通云得到基于整個城市交通信息智能分析后提供的服務(wù)。

（2）通過綜合整個城區(qū)的交通流信息及汽車的運行計劃信息，每個交通信號燈都得到高效控制，并在面控、立體多維的基礎(chǔ)上進行相關(guān)預(yù)測；城市交通引導(dǎo)系統(tǒng)也可以與交通信息個性化服務(wù)進行無縫結(jié)合。

（3）為了更智能地提高交通運行效率，拓展一個智能交通信息服務(wù)市場，運營商要相應(yīng)地通過手機基站定位，向用戶提供實時的交通信息服務(wù)，這些信息與交通控制、引導(dǎo)相結(jié)合。隨著移動通信網(wǎng)絡(luò)的發(fā)展，從早期的2G網(wǎng)絡(luò)到3G網(wǎng)絡(luò)，再發(fā)展到當(dāng)前的4G移動通信網(wǎng)絡(luò)，4G網(wǎng)絡(luò)使圖像視頻傳輸更加穩(wěn)定，決策也更具有時效性，并為智能交通系統(tǒng)提供了更多應(yīng)用的可能，移動網(wǎng)絡(luò)在智能化交通信息系統(tǒng)中的運用日趨嫻熟、準確，使智能交通系統(tǒng)真正、全面、高效地服務(wù)于社會，為緩減交通壓力做出了更大的貢獻。移動網(wǎng)絡(luò)技術(shù)還有效地為智能交通系統(tǒng)的發(fā)展提供了新的發(fā)展思路。

34G移動網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)的核心技術(shù)及優(yōu)點

3.14G移動網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu)的核心技術(shù)

4G移動網(wǎng)絡(luò)體系結(jié)構(gòu)從下往上可分為物理網(wǎng)絡(luò)層、中間環(huán)境層、應(yīng)用網(wǎng)絡(luò)層。正交頻分復(fù)用（OFDM）技術(shù)是這一代移動通信網(wǎng)絡(luò)的核心技術(shù)，該技術(shù)可以為用戶提供速率高、時延小的數(shù)據(jù)交換服務(wù)，能達到下行50Mbit/s與上行100Mbit/s的峰值速率。OFDM技術(shù)特點包括：具有良好的抗噪聲性能及抗多信道干擾能力，可擴展網(wǎng)絡(luò)結(jié)構(gòu)。

3.24G移動網(wǎng)絡(luò)的優(yōu)點

3.2.1通信速度高、靈活性好4G移動通信系統(tǒng)速率可以高達到l00Mbps，甚至是150Mbps。由于4G網(wǎng)絡(luò)不僅是面向手機，還面向智能手表、控制器、眼鏡等移動智能終端設(shè)備，這些終端設(shè)備極大豐富了人們的生活，使通信變得更加靈活多樣。

3.2.2系統(tǒng)兼容性好未來的4G移動網(wǎng)絡(luò)要面向全球發(fā)展，可以預(yù)測4G移動網(wǎng)絡(luò)一定會開放出更多標(biāo)準化的接口，并與全世界各種網(wǎng)絡(luò)進行高速通訊、互聯(lián)。

3.2.3網(wǎng)絡(luò)采用寬頻譜4G移動網(wǎng)絡(luò)的每個信道會占有100MHz的頻譜，是3G移動網(wǎng)絡(luò)的20倍左右。

3.2.4通訊費用低目前，很多3G移動網(wǎng)絡(luò)用戶之所以能方便地過渡到4G移動網(wǎng)絡(luò)進行通信，是因為4G移動網(wǎng)絡(luò)與3G移動網(wǎng)絡(luò)的兼容性較好，且4G移動網(wǎng)絡(luò)的系統(tǒng)采用靈活的操作方式。在加上4G移動網(wǎng)絡(luò)通訊費用相對較低，為4G移動網(wǎng)絡(luò)的快速部署創(chuàng)造了條件。

3.2.5網(wǎng)絡(luò)通信質(zhì)量高4G移動網(wǎng)絡(luò)通信時代是高質(zhì)量通信的時代，與3G移動網(wǎng)絡(luò)通信技術(shù)相比，4G移動網(wǎng)絡(luò)通信技術(shù)將在很大程度上提升大數(shù)據(jù)的交互、處理能力，特別是跟云計算技術(shù)的結(jié)合，大大提高了效率，4G移動網(wǎng)絡(luò)讓廣大人們擁有了前所未有的、便捷的移動網(wǎng)絡(luò)交互體驗，面對越來越復(fù)雜的網(wǎng)絡(luò)環(huán)境，通信質(zhì)量也得到了較好的保障，4G移動網(wǎng)絡(luò)通信也能滿足3G移動網(wǎng)絡(luò)通信尚不能覆蓋的區(qū)域。

4基于云計算的智能交通的關(guān)鍵技術(shù)

上述的需求，使大數(shù)據(jù)與云計算技術(shù)成為城市智能交通系統(tǒng)的重要支撐。為了有效地將云計算技術(shù)與跟4G網(wǎng)絡(luò)相結(jié)合，提升信息傳遞的準確性和可達性，還需解決以下幾個主要技術(shù)問題。

4.1最優(yōu)路徑規(guī)劃問題

云計算技術(shù)在智能交通系統(tǒng)中的另一個重要應(yīng)用是智能交通系統(tǒng)中的最優(yōu)路徑規(guī)劃，它在各類應(yīng)急系統(tǒng)及車輛路徑導(dǎo)航系統(tǒng)中具有重要作用。智能交通最優(yōu)路徑規(guī)劃是以交通運行數(shù)據(jù)為基礎(chǔ)，在云計算數(shù)據(jù)中心對各交通影響因素進行分析、處理和判斷后，再通過短訊、車載終端、GIS電子地圖等各類終端幫助信息，為道路的使用人員提供最優(yōu)路徑，引導(dǎo)信息及各類實時交通幫助服務(wù)信息，以提高車輛的通行效率及行車安全。

4.2智能交通流預(yù)測與出行引導(dǎo)問題

基于云計算的智能交通流預(yù)測與出行引導(dǎo)可通過物聯(lián)網(wǎng)對交通流量數(shù)據(jù)進行實時采集，對這些數(shù)據(jù)進行分析和快速處理，以便對道路交通流進行實時動態(tài)判別和準確預(yù)測，從而正確指導(dǎo)用戶出行，這樣必須建立起智能交通流量采集數(shù)據(jù)庫及非結(jié)構(gòu)化的數(shù)據(jù)庫。

4.3智能交通事故預(yù)警處理問題

道路交通中的突發(fā)事故嚴重影響城市道路交通運行的安全性和可靠性，因此，面對突發(fā)事故，必須快速做出反應(yīng)，提出處理預(yù)案，然后對其進行有效、及時地處置?；诖髷?shù)據(jù)分析的交通事故應(yīng)急處置方案的形成，是通過物聯(lián)網(wǎng)技術(shù)快速采集和分析交通突發(fā)事件及整個道路流量信息，迅速地進行事故故障處理，并及時發(fā)出預(yù)警信息，提前、有效和安全地疏散車流，達到不影響交通正常運行的目的。

5我國智能交通系統(tǒng)發(fā)展趨勢

眾所周知，我國4G移動網(wǎng)絡(luò)牌照已經(jīng)發(fā)放，圍繞4G移動網(wǎng)絡(luò)的各項業(yè)務(wù)也快速展開，但目前，網(wǎng)絡(luò)通訊費用并沒有下降，這對基于4G移動網(wǎng)絡(luò)智能交通系統(tǒng)的開發(fā)與使用具有較大影響，相信隨著4G網(wǎng)絡(luò)的普及、通信環(huán)境的改善、資費的下調(diào)，大數(shù)據(jù)的交互平臺將有望在許多移動設(shè)備（如手機、平板電腦）上實現(xiàn)，云計算技術(shù)也將得到更廣泛的應(yīng)用。例如，未來的智能交通系統(tǒng)將會出現(xiàn)自動駕駛系統(tǒng)、大數(shù)據(jù)與智能交通、生態(tài)智能交通系統(tǒng)、移動互聯(lián)網(wǎng)與智能交通等。近年來，基于移動網(wǎng)絡(luò)智能終端的與交通相關(guān)的APP得到飛速發(fā)展，因而，移動互聯(lián)網(wǎng)技術(shù)在人們出行中的作用將越來越大。

6結(jié)語

基于4G移動網(wǎng)絡(luò)的大數(shù)據(jù)和云計算技術(shù)的智能交通系統(tǒng)是一個復(fù)雜的系統(tǒng)工程，它涵蓋了網(wǎng)絡(luò)構(gòu)建、信息采集、系統(tǒng)集成及應(yīng)用開發(fā)等多方面內(nèi)容，同時也涉及城市交通運行管理中的許多領(lǐng)域。要在4G移動網(wǎng)絡(luò)平臺上加快推進大數(shù)據(jù)和云計算技術(shù)在城市智能交通系統(tǒng)中的研究及應(yīng)用，必須不斷加強技術(shù)革新、保障云安全、完善基礎(chǔ)設(shè)施建設(shè)，并將政府構(gòu)建的基礎(chǔ)性開放平臺與引導(dǎo)科研機構(gòu)、高校、企業(yè)參與應(yīng)用研發(fā)相結(jié)合。

作者：鄧波 黃同成 劉遠軍 單位：邵陽學(xué)院信息工程系

大數(shù)據(jù)應(yīng)用論文:高校管理會計大數(shù)據(jù)的應(yīng)用

2015年1月，“管理會計之中國實踐”走進高校第一站（北京大學(xué)站）在北京大學(xué)光華管理學(xué)院成功舉辦。研討會的主題是“大數(shù)據(jù)時代，CEO需要怎樣的管理會計”，會上財政部會計司副司長劉光忠強調(diào)了管理會計的重要性，并指出管理會計不僅適用于企業(yè)，也適用于行政事業(yè)單位。作為理論界的先行者和行政事業(yè)單位的典型代表，高校在注重管理會計的同時，還要充分發(fā)揮大數(shù)據(jù)在管理會計中的作用。大數(shù)據(jù)是網(wǎng)絡(luò)信息技術(shù)發(fā)展的產(chǎn)物，具有數(shù)據(jù)量大、價值高、更新快、類型多的特點，人們通過新技術(shù)對大數(shù)據(jù)進行處理分析，從中提取出有價值的信息，這些信息為相關(guān)機構(gòu)做決策分析提供數(shù)據(jù)支持，有利于增強決策正確性，提升自身競爭力水平。近幾年我國高校的辦學(xué)規(guī)模日益擴大，高等教育越來越大眾化，高校與高校之間關(guān)于招生、就業(yè)、發(fā)展的競爭不斷加劇。高校要想在競爭中提升自身競爭力水平、實現(xiàn)長遠穩(wěn)定的發(fā)展目標(biāo)，就必須善于利用大數(shù)據(jù)這一工具，讓大數(shù)據(jù)在高校的管理中發(fā)揮作用。管理會計為高校領(lǐng)導(dǎo)作決策提供參考建議，而大數(shù)據(jù)可以為管理會計提供巨大的數(shù)據(jù)支持，只有在高校滿足一定的前提條件之后，才能更好地把大數(shù)據(jù)應(yīng)用在高校管理會計中。

一、大數(shù)據(jù)在高校管理會計中的應(yīng)用前提

（一）增強高校領(lǐng)導(dǎo)對大數(shù)據(jù)與管理會計關(guān)系的認識

高校領(lǐng)導(dǎo)在學(xué)校的日常管理中起著模范帶頭作用，領(lǐng)導(dǎo)重視的問題、強調(diào)的內(nèi)容，是全體干部隊伍工作的方向和重點，全體方向一致才能完成目標(biāo)。在信息化發(fā)展迅速的今天，要讓管理會計在高校中真正發(fā)揮作用，需要高校領(lǐng)導(dǎo)意識到管理會計就是管理和會計的結(jié)合，管理會計人員呈現(xiàn)的不是單純的財務(wù)信息，而是從校園大數(shù)據(jù)中提取的有利于領(lǐng)導(dǎo)決策的數(shù)據(jù)信息。國內(nèi)國外的實踐經(jīng)驗表明，管理會計對于管理的重要性已經(jīng)不言而喻，作為高校的領(lǐng)導(dǎo)尤其要緊跟時代步伐，善于利用大數(shù)據(jù)加強管理會計的應(yīng)用。一旦高校領(lǐng)導(dǎo)意識到大數(shù)據(jù)可以為管理會計提供數(shù)據(jù)支持，就會開始注重大數(shù)據(jù)在管理會計中的應(yīng)用，那么從各二級學(xué)院到各行政部門都會貫徹執(zhí)行具體應(yīng)用，就能很大程度改進管理會計在高校的應(yīng)用效果。在海量大數(shù)據(jù)的支撐下，管理會計提供的決策建議更具有說服力，領(lǐng)導(dǎo)作出決策再也不用靠直覺、憑經(jīng)驗了。

（二）注重管理會計人才的引入和培養(yǎng)

敏銳的洞察力、良好的溝通能力、專業(yè)的知識素養(yǎng)、嚴謹?shù)穆殬I(yè)修養(yǎng)是一個管理會計人員必備的素質(zhì)。管理會計不同于財務(wù)會計，不是僅僅做賬和處理數(shù)字那么簡單，而是需要管理會計人員利用專業(yè)的知識素養(yǎng)對財務(wù)信息和其他信息進行統(tǒng)計分析，利用敏銳的洞察力洞察高校發(fā)展中存在的阻礙和優(yōu)勢、利用良好的溝通能力把分析出的數(shù)據(jù)、洞察的結(jié)果跟領(lǐng)導(dǎo)進行匯報，利用嚴謹?shù)穆殬I(yè)修養(yǎng)對一些需要保密的決策三緘其口。當(dāng)今時代下，大數(shù)據(jù)對管理會計的應(yīng)用產(chǎn)生了很大影響，而且大數(shù)據(jù)理論與技術(shù)在逐漸發(fā)展，管理會計理論與體系也逐步走向成熟，更需要管理會計人才對大數(shù)據(jù)發(fā)展、高校發(fā)展進行全視角觀察，保持清晰的邏輯思維方式對海量數(shù)據(jù)進行分析整理。所以為了更好地促進管理會計的應(yīng)用，在招聘管理會計人才時高校要嚴格考察，逐步篩選出高素質(zhì)、高水平的管理會計人才，隨著市場競爭的變化，還需要定期對管理會計人才進行培養(yǎng)。

（三）引進并更新管理會計信息系統(tǒng)

現(xiàn)在管理會計已逐步實現(xiàn)了信息化，管理會計信息系統(tǒng)以現(xiàn)代管理科學(xué)和信息技術(shù)為基礎(chǔ)，以財務(wù)管理和管理會計提供的模型為基本方法，把管理會計的實務(wù)操作與信息化系統(tǒng)結(jié)合，不僅可以實現(xiàn)信息傳遞的實時性，還能極大程度地節(jié)約物力人力。高校引進管理會計信息系統(tǒng)有利于管理會計工作的開展，在大數(shù)據(jù)作用于管理會計過程中，大數(shù)據(jù)的分析利用需要借助管理信息系統(tǒng)，而且隨著大數(shù)據(jù)量的不斷增加，對信息系統(tǒng)的要求也會越來越高，所以為了確保管理會計的應(yīng)用效果，就要定期更新管理會計信息系統(tǒng)。

二、大數(shù)據(jù)在高校管理會計中的應(yīng)用領(lǐng)域

在高校的行政管理中，即時報賬產(chǎn)生的財務(wù)信息、隨時變化的學(xué)費繳納情況、新增科研項目的經(jīng)費登記、基建項目的進度變化、資產(chǎn)的購置與報廢情況變化、隨時變化的水電費使用情況以及畢業(yè)生就業(yè)情況等構(gòu)成了實時產(chǎn)生的大數(shù)據(jù)，這些數(shù)據(jù)信息對于學(xué)校的管理與發(fā)展來說具有很大價值。所以學(xué)校應(yīng)根據(jù)信息化管理技術(shù)，建立一個涵蓋財務(wù)處、審計處、資產(chǎn)管理處、科研處、教務(wù)處、基建處、發(fā)展規(guī)劃處等部門的，并且與市場公開信息相連接的“大數(shù)據(jù)庫”，確保學(xué)校行政管理各部門間信息的溝通與傳達，為管理會計實現(xiàn)評價與分析提供基礎(chǔ)。下文將詳細分析大數(shù)據(jù)在管理會計中的預(yù)算管理、本量利分析、決策分析和績效管理中的應(yīng)用。

（一）預(yù)算管理中的應(yīng)用

高校預(yù)算管理的效果決定了高校行政資金的使用效率，關(guān)系到高校年度內(nèi)各項事業(yè)是否能正常運行。在編制預(yù)算時，有的高校根據(jù)“增量預(yù)算”方法編制，有的高校根據(jù)“零基預(yù)算”方法編制，還有部分高校采用“零基預(yù)算”與“增量預(yù)算”相結(jié)合的方法編制，這幾種預(yù)算編制方法都不能解決超預(yù)算的支出問題，容易造成財務(wù)資金沉淀，不能適應(yīng)目前高校教育事業(yè)發(fā)展的需要。“滾動預(yù)算”法是不規(guī)定預(yù)算的數(shù)額，在預(yù)算執(zhí)行過程中，隨著預(yù)算的執(zhí)行不斷延伸補充預(yù)算，逐期向后滾動的預(yù)算編制方法，利用這種方法編制預(yù)算加大了對預(yù)算監(jiān)督的難度，所以在實際應(yīng)用中較少用到。但是在當(dāng)今信息化時代，對數(shù)據(jù)信息的實時掌握不再是一個不可及的目標(biāo)，它可以促進高校使用“滾動預(yù)算”法編制預(yù)算，使用過程中可以將滾動周期縮短到以月或者周為單位，也可以根據(jù)各部門重大資金支出周期為單位，通過大數(shù)據(jù)庫，實現(xiàn)周期性的對部門預(yù)算的審批與監(jiān)督。在審批與監(jiān)督過程中，要結(jié)合學(xué)校實際情況和市場公開信息進行分析，例如對于部門某資產(chǎn)的購置預(yù)算方案，要先結(jié)合部門情況分析其購置必要性和購置數(shù)量合理性，再結(jié)合市場同類價格信息分析部門報價是否合理，如果不符合這幾項規(guī)定之一，該預(yù)算方案就不能審批通過。

（二）本量利分析中的應(yīng)用

高校在確定年度招生計劃時，可以采用本量利分析方法，根據(jù)生源總體情況、往年招生計劃、學(xué)校容量等數(shù)據(jù)信息進行綜合考量，結(jié)合學(xué)校的運營成本進行分析，確定最優(yōu)的決策方案。假設(shè)學(xué)校的運營成本分為固定成本和變動成本，固定成本是不隨學(xué)生人數(shù)增減而變化的成本，包括學(xué)校的教學(xué)樓、宿舍樓、圖書館等長期固定資產(chǎn)成本，教學(xué)設(shè)備設(shè)施等短期固定資產(chǎn)成本，學(xué)校維護安全的治安管理成本，學(xué)校職工的工資和福利等薪酬成本等；變動成本是隨著學(xué)生人數(shù)的增減而變動的成本，包括學(xué)生的水費、電費，各院系的報刊費、電話費、網(wǎng)絡(luò)費等。假設(shè)學(xué)校的收入總額是國家撥款和學(xué)費（假設(shè)沒有校辦企業(yè)和其他資金來源），那學(xué)校的盈利就是收入總額減去固定成本和變動成本后的差額，從理論上分析招生越多，學(xué)校的盈利就越多。但是高校終歸是非盈利組織，不以盈利為目的，我們利用本量利分析的最終目的不是尋求利益最大，而是考慮如何在充分利用學(xué)校資源和保證生源質(zhì)量的前提下，實現(xiàn)學(xué)校成本較小的目標(biāo)?；诖髷?shù)據(jù)資源庫，高?？梢猿浞掷脤W(xué)校的成本數(shù)據(jù)信息、學(xué)校容量數(shù)據(jù)信息，往年招生情況信息，歷年分數(shù)線信息、歷年各省名額分配信息等對招生計劃進行綜合考量，確立一個可以實現(xiàn)校園資源優(yōu)化配置又能保證學(xué)校健康穩(wěn)定發(fā)展的招生計劃。

（三）基建決策中的應(yīng)用

隨著高等教育的大眾化進程加快，高校擴建已成為一種必然趨勢，但是在哪里擴建、如何擴建、擴建到什么規(guī)模則是需要高校管理者深思熟慮的問題。到底是在原來的校園內(nèi)建設(shè)教學(xué)樓或宿舍樓等固定資產(chǎn)，還是另尋新址進行擴建；要怎樣進行擴建，是教學(xué)樓、宿舍樓和其他教輔設(shè)施一起建設(shè)，還是分批次按重要性依次建設(shè)；到底擴建到什么規(guī)模，是不是擴建的越大越好等這些問題，可以根據(jù)大數(shù)據(jù)信息得到解決。在做這些決策時，高校要結(jié)合“大數(shù)據(jù)庫”中的學(xué)校財務(wù)數(shù)據(jù)信息、招生計劃信息、國家政策信息、融資渠道信息等進行綜合考慮，做到不盲目擴建、有目的有根據(jù)的做出有利于學(xué)校發(fā)展的決策。

（四）重大采購決策中的應(yīng)用

每年新生入學(xué)，學(xué)校都要大批量購置床上用品和學(xué)校校服，采購這些物資的原則都是質(zhì)優(yōu)價廉，采購方式多是招標(biāo)。但是以往參與招標(biāo)的供應(yīng)商往往受限于地域范圍，例如山東省的供應(yīng)商不會到海南的高校進行招標(biāo)，正如海南供應(yīng)商也不會到山東省高校進行招標(biāo)一樣，這導(dǎo)致參與招標(biāo)的供應(yīng)商每年都是固定的幾家，學(xué)校對于采購物資的議價能力不高，很大程度上加大了學(xué)校的采購成本。但是現(xiàn)在招標(biāo)信息是完全公開信息，不管哪里的供應(yīng)商都可以看到都能參與，學(xué)校也可以向產(chǎn)品質(zhì)量較高但從未參與過學(xué)校招標(biāo)的供應(yīng)商發(fā)送招標(biāo)邀請，這樣參與學(xué)校采購物資招標(biāo)的供應(yīng)商就會增多，學(xué)校就有較大的議價能力，在諸多供應(yīng)商中選擇一家或幾家為學(xué)校生產(chǎn)采購物資，節(jié)省學(xué)校的采購成本。在大數(shù)據(jù)時代，物流發(fā)展也同樣迅速，完全不必擔(dān)心生產(chǎn)廠家和高校間的距離，也完全不必擔(dān)心遠距離下的物流成本，可以結(jié)合幾十家物流運輸費用的信息數(shù)據(jù)進行選擇，選擇一家安全快速的物流公司進行物資運輸。

（五）績效管理中的應(yīng)用

有效的績效管理可以促進學(xué)校與教職工的“雙贏”發(fā)展，能讓學(xué)校了解教職工的工作狀態(tài)，便于發(fā)現(xiàn)人才、留住人才，能讓教職工通過考核結(jié)果的反饋與對比，清楚地看到自身的優(yōu)勢與不足。在以往的績效管理中，對教職工的考評流于形式，績效計劃制定不詳細、績效實施缺乏監(jiān)督、績效考核與反饋不及時。但是大數(shù)據(jù)的出現(xiàn)可以促進績效管理有效性的實現(xiàn)，通過層級傳遞，各級領(lǐng)導(dǎo)把行政人員和教師人員的詳細崗位職責(zé)、工作任務(wù)、工作目標(biāo)等錄入績效管理數(shù)據(jù)系統(tǒng)。專人負責(zé)定期將教職工的教學(xué)成果、學(xué)術(shù)成果、工作業(yè)績等數(shù)據(jù)進行統(tǒng)計并上傳到績效管理數(shù)據(jù)系統(tǒng)中，為保證績效考核結(jié)果的可比性，需要在考慮不同專業(yè)、不同學(xué)科性質(zhì)的基礎(chǔ)上將工作成果進行量化。教職工（只有查看權(quán)限）可以登陸績效管理系統(tǒng)，查看自己階段性的績效考評結(jié)果，并可以向系統(tǒng)提交查看其他教職工績效結(jié)果的申請，便于進行橫向?qū)Ρ龋谶@個過程真正縮短績效考核與反饋的時間間隔，提高了績效管理的效率。在大數(shù)據(jù)的推動下，教職工的績效考評結(jié)果用數(shù)字表示，清晰的評價標(biāo)準和流程讓教職工感受到績效管理的公平公正，這樣的情況下再與學(xué)校的獎懲機制相聯(lián)系，能極大地促進教職工的工作熱情和積極性。

作者：張詠梅 穆文娟 單位：山東科技大學(xué)經(jīng)濟管理學(xué)院

大數(shù)據(jù)應(yīng)用論文:計量工作大數(shù)據(jù)應(yīng)用與發(fā)展

目前，我國計量行業(yè)對大數(shù)據(jù)的理解和應(yīng)用相對滯后，政府行政部門應(yīng)通過相關(guān)數(shù)據(jù)收集、統(tǒng)計和挖掘，獲得有價值信息，為產(chǎn)品質(zhì)量的提升和發(fā)展提供更科學(xué)的依據(jù)。運用大數(shù)據(jù)推動計量行業(yè)快速發(fā)展，進而推動產(chǎn)品質(zhì)量提升，已經(jīng)成為計量行業(yè)未來發(fā)展的必然趨勢。

一、計量信息數(shù)據(jù)整合是做

好質(zhì)監(jiān)大數(shù)據(jù)運用的基礎(chǔ)計量工作中的量值傳遞、產(chǎn)品檢定、測試與校準中，產(chǎn)生了大量有價值的數(shù)據(jù)信息，所以推進計量工作數(shù)據(jù)清理整合工作，在建立計量信息數(shù)據(jù)庫的基礎(chǔ)上，再將產(chǎn)品檢驗、執(zhí)法系統(tǒng)數(shù)據(jù)、重點行業(yè)、企業(yè)、產(chǎn)品的質(zhì)量數(shù)據(jù)，以及各個領(lǐng)域涉及產(chǎn)品質(zhì)量的相關(guān)數(shù)據(jù)進行整合，最終完善整個質(zhì)監(jiān)領(lǐng)域的大數(shù)據(jù)庫。充分運用大數(shù)據(jù)相關(guān)技術(shù)，提高質(zhì)監(jiān)部門的服務(wù)水平，為產(chǎn)品質(zhì)量監(jiān)督管理、產(chǎn)品質(zhì)量提升、國家質(zhì)量戰(zhàn)略和相關(guān)法律法規(guī)的制定提供更可靠的依據(jù)。

二、大數(shù)據(jù)運用在計量領(lǐng)域的初步探索

1.建立計量器具數(shù)據(jù)庫。建立統(tǒng)一的數(shù)據(jù)庫，將計量器具實行賦碼化管理，逐步完成計量器具的生產(chǎn)、使用等多環(huán)節(jié)的監(jiān)管。目前，西安市已經(jīng)在全國率先將強檢計量器具實行賦碼化管理，賦碼系統(tǒng)建立后，大幅度減少了強檢計量器具瞞報、漏報、不報、拒檢、超期未檢等現(xiàn)象的發(fā)生，強化了強檢計量器具在使用中的監(jiān)管。筆者認為，下一步應(yīng)組織相關(guān)部門逐步將計量器具的生產(chǎn)企業(yè)納入數(shù)據(jù)庫中，實行“一器一碼”制，最終實現(xiàn)通過編碼查詢到計量器具的所有信息，包括生產(chǎn)信息（企業(yè)信用信息、生產(chǎn)許可證、出廠合格證、質(zhì)保信息等）、使用過程中的管理信息（使用方的維修信息、相關(guān)檢測機構(gòu)的檢測報告等）。2.將大數(shù)據(jù)技術(shù)應(yīng)用于復(fù)雜環(huán)境下的計量檢測中。計量測試未來發(fā)展趨勢是將在保持更高準確度的前提下，回歸到現(xiàn)場環(huán)境條件里的計量校準和計量溯源。隨著大規(guī)?，F(xiàn)代化工業(yè)、國防工業(yè)和軍事計量的發(fā)展，解決復(fù)雜環(huán)境下的計量校準問題，成為當(dāng)今計量檢測中的難題和挑戰(zhàn)。建立計量測試儀器設(shè)備在每一種環(huán)境因素變化情況下的有效數(shù)據(jù)和變化情況數(shù)據(jù)的數(shù)據(jù)庫，并對不同因素的相互作用（包括線性疊加、非線性疊加、交叉調(diào)制、加權(quán)耦合等）進行仿真模擬（包括模型仿真、數(shù)據(jù)仿真、半物理仿真、全物理仿真等）。最終通過模仿系統(tǒng)模型和大數(shù)據(jù)進行處理，以獲得在任何復(fù)雜環(huán)境條件下的計量校準結(jié)果。3.用大數(shù)據(jù)幫助企業(yè)解決計量器具的管理。計量檢測作為企業(yè)產(chǎn)品和服務(wù)質(zhì)量控制的重要組成部分，企業(yè)對服務(wù)機構(gòu)計量檢測的綜合服務(wù)能力要求越來越高。通過大數(shù)據(jù)技術(shù)全面切入客戶質(zhì)量管理、技術(shù)研發(fā)環(huán)節(jié)，為客戶提供全方位解決方案，已成為計量檢測技術(shù)服務(wù)市場和拓展能力的方向。例如，為醫(yī)院提供計量檢測服務(wù)的過程中，利用大數(shù)據(jù)分析、評估醫(yī)院計量器具的整體性能，幫助醫(yī)院發(fā)現(xiàn)醫(yī)療設(shè)備性能和使用中存在的各種問題，提出相應(yīng)解決方案，從而提升醫(yī)院設(shè)備質(zhì)量控制的整體水平，避免因為醫(yī)療設(shè)備性能的問題造成醫(yī)療事故，為病人的生命安全保駕護航，也更好地體現(xiàn)了民生計量工作中執(zhí)政為民、全心全意為人民服務(wù)的宗旨。4.用大數(shù)據(jù)可以為計量助推供給側(cè)結(jié)構(gòu)性改革和精準服務(wù)產(chǎn)業(yè)發(fā)展，找到準確的發(fā)力點和切入點。通過建立區(qū)域內(nèi)計量基標(biāo)準和社會公用計量標(biāo)準動態(tài)數(shù)據(jù)庫，努力實現(xiàn)信息資源區(qū)域共享、結(jié)果互認，從而統(tǒng)籌技術(shù)資源，避免重復(fù)購買計量標(biāo)準器具，提高檢測標(biāo)準器的利用率，從而充分發(fā)揮區(qū)域計量標(biāo)準器具資源的價值。同時通過大數(shù)據(jù)交流，增加部門之間的橫向聯(lián)系，實現(xiàn)良好的合作，促使國民經(jīng)濟聯(lián)合成一個完整的體系，將計量與全社會各部門、各企業(yè)聯(lián)系在一起。5.用大數(shù)據(jù)為“一帶一路”計量服務(wù)。通過大數(shù)據(jù)，積極推進與沿線國家計量領(lǐng)域全方位的務(wù)實合作，共同促進國際計量體系的創(chuàng)新發(fā)展，推動國際計量互認進程，促進貿(mào)易便利化水平，服務(wù)區(qū)域經(jīng)濟社會可持續(xù)發(fā)展。通過建立計量領(lǐng)域政策信息數(shù)據(jù)互換和交流平臺，提升計量法規(guī)的透明度，實現(xiàn)沿線國家資源共享。通過建立計量領(lǐng)域技術(shù)信息數(shù)據(jù)互換和交流平臺，加強各國計量技術(shù)機構(gòu)的戰(zhàn)略規(guī)劃、科學(xué)研究、業(yè)務(wù)拓展等方面的信息交流。加快計量雙邊、多邊合作和互認進程，促進量值國際等效，不斷擴大互認國和互認產(chǎn)品范圍，最終實現(xiàn)“一次測試、一張證書、全球互認”，從而促進國際貿(mào)易的便利化，更好地提升計量服務(wù)經(jīng)濟發(fā)展的能力。

三、結(jié)束語

計量大數(shù)據(jù)的服務(wù)與應(yīng)用可以加速計量行業(yè)信息化進程，加快質(zhì)監(jiān)部門信息共享，提高質(zhì)監(jiān)部門服務(wù)能力。當(dāng)然，數(shù)據(jù)安全是質(zhì)監(jiān)系統(tǒng)做出分析和決策的重要依據(jù)，大數(shù)據(jù)在存儲、處理、傳輸?shù)冗^程中面臨安全風(fēng)險，具有數(shù)據(jù)安全和隱私保護需求。尤其是計量大數(shù)據(jù)，都是與生產(chǎn)、生活、安全相關(guān)的數(shù)據(jù)，保護這些數(shù)據(jù)的安全，防止數(shù)據(jù)系統(tǒng)受到不法分子的攻擊顯得尤為重要。

作者：付磊 單位：陜西省計量科學(xué)研究院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在高校教育信息化的應(yīng)用

【摘要】隨著我國經(jīng)濟的發(fā)展，科學(xué)技術(shù)的迅猛提高，信息技術(shù)已經(jīng)逐漸融入到社會的每一個角落，21世紀開始步入信息化時代。隨著信息技術(shù)的滲透，作為社會生活的重要陣地，高校自然也不會置身事外，信息技術(shù)在高校教育中的應(yīng)用愈發(fā)普遍。本文主要闡述了大數(shù)據(jù)在當(dāng)前信息化時代中的一些特點，并結(jié)合實際探討了大數(shù)據(jù)在高校教育信息化中的應(yīng)用。

【關(guān)鍵詞】大數(shù)據(jù)；高校教育；信息化

信息化時代的到來，使得曾經(jīng)被人忽視的各種媒介中的數(shù)據(jù)爆發(fā)出驚人的價值和影響力。數(shù)據(jù)成為了信息化時代獨有的傳遞媒介，人類將邁入一個深度挖掘數(shù)據(jù)的大數(shù)據(jù)時代。隨著信息技術(shù)的滲透，人們的生活、工作已離不開大數(shù)據(jù)。將信息化技術(shù)融入高校教育中不僅可以幫助高校發(fā)展教育還可以為信息化時代做一份貢獻。在21世紀這場大數(shù)據(jù)的浪潮中，高校在其中扮演的角色不僅僅是參與者更是推動者。為順應(yīng)大數(shù)據(jù)時展的趨勢，在高校教育中推行信息化教育勢在必行。

一、大數(shù)據(jù)

作為信息時代的產(chǎn)物，人們對大數(shù)據(jù)往往有著不同的定義，簡而言之，大數(shù)據(jù)是信息數(shù)據(jù)的總和，是以信息形式表達的多種信息的融合?？梢哉f它是一種新型的力量，有著不可估量的價值和影響力，現(xiàn)代技術(shù)是它的載體。憑借其自身蘊藏的無限價值，大數(shù)據(jù)已經(jīng)成為現(xiàn)代化社會的象征。與傳統(tǒng)數(shù)據(jù)不同的是，大數(shù)據(jù)主要講究的是數(shù)據(jù)之間的相關(guān)性，而對于數(shù)據(jù)間的因果關(guān)系卻不再關(guān)注。大數(shù)據(jù)可以通過分析數(shù)據(jù)間的相關(guān)性來實現(xiàn)對信息的優(yōu)化，幫助人們進行決策分析。在高校教育中，大數(shù)據(jù)也可以通過對高校的信息數(shù)據(jù)進行分析整合，為高校的發(fā)展提供數(shù)據(jù)參考。與傳統(tǒng)數(shù)據(jù)不同，傳統(tǒng)數(shù)據(jù)僅僅只是實現(xiàn)了對數(shù)據(jù)的存儲并未完全實現(xiàn)數(shù)據(jù)的價值，因此雖然傳統(tǒng)數(shù)據(jù)為中國的社會發(fā)展做出了貢獻，也給人們帶來了很多便利，但它仍存在很多瑕疵。反觀大數(shù)據(jù)，大數(shù)據(jù)主要講究的是數(shù)據(jù)之間的相關(guān)性，它不僅可以實現(xiàn)數(shù)據(jù)的存儲，還可以利用這些數(shù)據(jù)達到預(yù)知發(fā)展趨勢的目的，與傳統(tǒng)數(shù)據(jù)相比，它更實現(xiàn)了對數(shù)據(jù)價值的深入挖掘。傳統(tǒng)數(shù)據(jù)與大數(shù)據(jù)應(yīng)用的方向也不相同，傳統(tǒng)數(shù)據(jù)主要進行信息的存儲，針對的是過去的數(shù)據(jù)，已過去的數(shù)據(jù)為核心。而大數(shù)據(jù)是對傳統(tǒng)數(shù)據(jù)的提取和分析，以達到預(yù)知發(fā)展趨勢的目的，是以事物未來的發(fā)展為核心。憑借其自身蘊藏的無限價值，大數(shù)據(jù)已經(jīng)成為現(xiàn)代化社會的象征。隨著信息技術(shù)的發(fā)展，大數(shù)據(jù)也將滲透到人們生活的每一個角落，大數(shù)據(jù)必將在高校的教育中發(fā)揮重要的作用。

二、大數(shù)據(jù)在高校教育信息化中的應(yīng)用探析

1、對教學(xué)質(zhì)量進行評價。為了提高高校的教學(xué)質(zhì)量并能夠幫助教師在教學(xué)過程中不斷地發(fā)現(xiàn)問題、解決問題，高校的每年期末都會對教師的教學(xué)質(zhì)量進行評估檢查。在教學(xué)評價中應(yīng)用大數(shù)據(jù)可以使教學(xué)評價形成有效的管理機制，其實能夠安全有序的進行。而且大數(shù)據(jù)可以根據(jù)教學(xué)評估中提供的各項數(shù)據(jù)進行有效的分析整合，使教學(xué)評估工作更加高效可靠。2、綜合分析教師的職業(yè)技能。傳統(tǒng)的數(shù)據(jù)僅僅能起到信息存儲的功能而無法利用數(shù)據(jù)的附加價值，而大數(shù)據(jù)不僅可以實現(xiàn)信息的存儲更強調(diào)了信息之間的相關(guān)性。將大數(shù)據(jù)應(yīng)用于高效教育中，還可以實現(xiàn)對教師職業(yè)技能的分析，而在高校教育中，最能夠決定高校教育質(zhì)量高低的便是教師的職業(yè)技能。將大數(shù)據(jù)應(yīng)用于教師的職業(yè)技能分析時，大數(shù)據(jù)可以通過對教師以往教學(xué)經(jīng)歷的分析、觀察，從而找出最適合該名教師的教學(xué)方法，并能夠幫助其在課堂上揚長避短，提高高校的教學(xué)質(zhì)量。將大數(shù)據(jù)應(yīng)用于教師的職業(yè)技能的分析還可以提高課堂的利用率，為學(xué)生的下一步學(xué)習(xí)制定計劃。3、個性化課堂的開展。將大數(shù)據(jù)應(yīng)用于高校教育中，大數(shù)據(jù)可以完美的將學(xué)習(xí)內(nèi)容與數(shù)據(jù)資源結(jié)合起來，從而幫助學(xué)生完成學(xué)習(xí)目標(biāo)，實現(xiàn)個性化學(xué)習(xí)。高校教學(xué)改革最重要的目標(biāo)便是個性化學(xué)習(xí)。大數(shù)據(jù)主要強調(diào)信息之間的相關(guān)性，將大數(shù)據(jù)應(yīng)用于個性化課堂的開展時，大數(shù)據(jù)可以根據(jù)某個學(xué)生學(xué)習(xí)成績?nèi)缓髲囊旬厴I(yè)的學(xué)生中調(diào)取有相似學(xué)習(xí)經(jīng)歷的學(xué)生的資料，分析待選課程與學(xué)生之間的相關(guān)性，為學(xué)生提供可靠的待選課程的課程分析。4、滿足學(xué)生的需求。大數(shù)據(jù)可以通過學(xué)生在高校時使用校園一卡通的情況分析出學(xué)生的消費情況甚至其家庭的經(jīng)濟情況，對于實在貧困的學(xué)生，學(xué)?？梢圆扇≠Y助，使得國家助學(xué)金的發(fā)放更加的公平、公正。

三、結(jié)語

隨著信息技術(shù)的滲透，人們的生活、工作已離不開大數(shù)據(jù)，作為社會生活的重要陣地，高校自然也不會置身事外。在21世紀這場大數(shù)據(jù)的浪潮中，高校在其中扮演的角色不僅僅是參與者更是推動者。將大數(shù)據(jù)應(yīng)用于高校教育中，不僅可以實現(xiàn)對高校教學(xué)質(zhì)量進行評價、教師的職業(yè)技能的綜合分析，還可以開展個性化課堂，使得國家助學(xué)金的發(fā)放更加的公平、公正等等。為順應(yīng)大數(shù)據(jù)時展的趨勢，在高校教育中推行信息化教育勢在必行。

作者：劉鍵 單位：遼寧省教育廳教育信息中心

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在區(qū)域品牌營銷的應(yīng)用

［摘要］從我國目前市場經(jīng)濟的發(fā)展趨勢來看，區(qū)域品牌營銷與其他品牌的營銷相比，其在市場環(huán)境中還處于剛剛起步的階段。但隨著信息技術(shù)的快速發(fā)展，區(qū)域間的競爭也日益激烈，這就需要區(qū)域品牌在營銷中廣泛應(yīng)用大數(shù)據(jù)，搶占商機?；诖耍疚姆治龊脱芯看髷?shù)據(jù)在區(qū)域品牌營銷中的應(yīng)用，并探討大數(shù)據(jù)平臺、客戶的需求及營銷規(guī)律。

［關(guān)鍵詞］大數(shù)據(jù)；區(qū)域品牌；營銷

引言

在當(dāng)今信息技術(shù)發(fā)展越來越迅速的局勢下，大數(shù)據(jù)的發(fā)展也受到了各個行業(yè)的關(guān)注，許多企業(yè)為了能夠在信息環(huán)境中搶占商業(yè)先機，對大數(shù)據(jù)整合技術(shù)及信息處理技術(shù)進行了探究。由此可見，不管是從經(jīng)濟發(fā)展的角度，還是從信息技術(shù)的應(yīng)用情況進行分析，大數(shù)據(jù)顯然已成為促進社會發(fā)展的重要因素。大數(shù)據(jù)可以借助移動終端設(shè)備和網(wǎng)絡(luò)技術(shù)構(gòu)建多元化的結(jié)構(gòu)數(shù)據(jù)，也能構(gòu)建出一些半結(jié)構(gòu)化及非結(jié)構(gòu)化的數(shù)據(jù)。如今大數(shù)據(jù)技術(shù)已經(jīng)在各行各業(yè)中有了廣泛應(yīng)用，區(qū)域品牌營銷市場中大數(shù)據(jù)的應(yīng)用，改變了傳統(tǒng)的商業(yè)營銷模式以及工作人員的管理理念，區(qū)域品牌在營銷中利用數(shù)據(jù)分析市場的發(fā)展情況，獲得商業(yè)的先機，從而有效促進自身發(fā)展。

1大數(shù)據(jù)營銷及區(qū)域品牌概述

1.1大數(shù)據(jù)營銷

當(dāng)前，各個企業(yè)將大數(shù)據(jù)帶來的商業(yè)機會分為兩種，一種是由微軟、惠普等公司開發(fā)的硬件和軟件以及數(shù)據(jù)，還有一種是來自海量的用戶信息，并且這些信息能夠為企業(yè)提供精準營銷平臺以及個性化的廣告推介等商業(yè)宣傳活動。而大數(shù)據(jù)營銷就是第二種，這種營銷方式通過搜尋并分析各種相關(guān)數(shù)據(jù)，充分了解市場發(fā)展的需求，從而幫助企業(yè)改變競爭形態(tài)，把依據(jù)客戶的生活方式以及價值取向等主觀信息，推測客戶需求導(dǎo)向的這種傳統(tǒng)營銷模式，轉(zhuǎn)變?yōu)橥ㄟ^對客戶的各種信息行為以及購買歷史等方面進行分析，滿足客戶的需求，并根據(jù)這個導(dǎo)向進行營銷的模式。大數(shù)據(jù)營銷不僅要實現(xiàn)線上和線下的互通，也要確保在各大媒體、互聯(lián)網(wǎng)站及移動終端等的數(shù)據(jù)是相通的，這些都大數(shù)據(jù)有效實行的前提條件。當(dāng)然，由于現(xiàn)實生活中不同領(lǐng)域及行業(yè)局限性，大數(shù)據(jù)會受到許多因素的影響，如公司的隱私保護、信息倫理等。對于政府?dāng)?shù)據(jù)及科研管理數(shù)據(jù)，應(yīng)該多多提倡數(shù)據(jù)的重復(fù)利用，由此可見，大數(shù)據(jù)想要在各個領(lǐng)域中分布是比較困難的。另外，有部分企業(yè)為了保護公司的隱私，便采取封閉式的數(shù)據(jù)開發(fā)和搜尋，并從中牟取利益，事實上這種形式無法滿足整合化營銷的要求。所以，企業(yè)在面臨大數(shù)據(jù)帶來的發(fā)展前景的同時，也要注重對企業(yè)能否實施大數(shù)據(jù)營銷的基礎(chǔ)條件進行科學(xué)合理的評估，要對市場營銷人員進行技能考核，從而確保工作人員能夠具備相應(yīng)的營銷技能，除此之外，企業(yè)也要制訂應(yīng)用大數(shù)據(jù)的營銷方案。

1.2區(qū)域品牌

隨著我國經(jīng)濟市場的逐步發(fā)展以及經(jīng)濟管理秩序的改變，經(jīng)濟市場的競爭也日益激烈。由于外部環(huán)境和內(nèi)部因素的大幅度變化，整個市場的格局也有很大變化，以往的商品競爭已逐漸被區(qū)域品牌競爭所取代，并且商業(yè)競爭的主體也由傳統(tǒng)的企業(yè)競爭轉(zhuǎn)變?yōu)閰^(qū)域競爭。隨著競爭形勢的變化，競爭局面也變得越來越復(fù)雜。為了能夠適應(yīng)這種競爭形勢，許多企業(yè)都由過去的商業(yè)競爭關(guān)系轉(zhuǎn)變?yōu)楦偁幒献鞯年P(guān)系，在這個的發(fā)展趨勢下也可以有效利用區(qū)域文化來促進市場發(fā)展。在這種發(fā)展形勢下，許多先進的企業(yè)已經(jīng)選擇區(qū)域品牌作為商業(yè)競爭的主體。建立區(qū)域品牌也成為促進現(xiàn)代化經(jīng)濟發(fā)展的重要工作。目前，關(guān)于區(qū)域品牌并沒有一個具體的定義或者界定，對于區(qū)域品牌，不同的人有不同的看法，但不管怎么說，區(qū)域品牌一定要在一定區(qū)域范圍內(nèi)才能產(chǎn)生，且在市場的知名度、市場份額及名譽等方面都會比其他商業(yè)經(jīng)濟更有優(yōu)勢。區(qū)域品牌是以集團品牌的形式而存在的，并且在發(fā)展的過程中也逐漸成為市場競爭的核心內(nèi)容。企業(yè)想要提高區(qū)域品牌的競爭力，首先要增強區(qū)域性的競爭力，因為區(qū)域品牌才是提高區(qū)域經(jīng)濟的有效方法。

2大數(shù)據(jù)在區(qū)域品牌營銷中應(yīng)用的方式

2.1通過動態(tài)化的形式監(jiān)控市場環(huán)境

隨著技術(shù)的發(fā)展以及經(jīng)濟效益的增長，區(qū)域品牌的競爭也變得愈加激烈，而市場經(jīng)濟的環(huán)境也隨之變得復(fù)雜起來。在這樣的發(fā)展環(huán)境中，區(qū)域品牌營銷的方案更加難以實行，但是利用大數(shù)據(jù)可以分析，使區(qū)域品牌營銷發(fā)現(xiàn)新的商機和市場。通過對大數(shù)據(jù)的集中分析，可以快速了解到某個區(qū)域環(huán)境中的商機，也可以分析某個階段的消費群體的需求，這時企業(yè)就可以根據(jù)客戶的需求研發(fā)相應(yīng)的區(qū)域品牌。與此同時，區(qū)域品牌的營銷也可以借助大數(shù)據(jù)的技術(shù)，對區(qū)域內(nèi)外的環(huán)境進行動態(tài)化監(jiān)察，這樣就可以為企業(yè)的策劃人員提供參考信息，也能面對市場的變化，使區(qū)域品牌營銷作出相應(yīng)的調(diào)整。

2.2通過改善用戶的體驗促進區(qū)域品牌營銷的發(fā)展

以往的區(qū)域品牌營銷人員在推廣和宣傳品牌時，常常會輕視消費者的主觀意識及消費體驗，在過去的區(qū)域品牌營銷宣傳或與消費者溝通時，都是利用比較簡單的形式進行，這樣會導(dǎo)致宣傳的效果不太理想。而區(qū)域品牌營銷在如今大數(shù)據(jù)的環(huán)境中，可以充分利用大數(shù)據(jù)分析消費者對區(qū)域品牌的了解程度，并通過實時解答消費者的一些疑問作出相應(yīng)的評價和定位。其實就是通過消費者與區(qū)域品牌營銷之間的溝通，提升消費者的認同感，使消費者對區(qū)域品牌產(chǎn)生相應(yīng)的興趣。企業(yè)想要留住消費者，就要不斷完善區(qū)域品牌的形象，或者說企業(yè)可以根據(jù)消費者的特性繪制出相應(yīng)的圖像，并根據(jù)圖像進行現(xiàn)實還原，這樣就可以有效增強消費者的體驗感。

2.3利用大數(shù)據(jù)分析并觀察競爭對手

大數(shù)據(jù)技術(shù)在區(qū)域品牌營銷中不僅可以分析消費者對品牌的了解程度，還能分析和觀察自己的競爭對手。企業(yè)利用大數(shù)據(jù)技術(shù)可以分析競爭對手對產(chǎn)品的研發(fā)以及服務(wù)的感知力，這樣就可以根據(jù)與競爭對手的比較，發(fā)現(xiàn)自身的不足和優(yōu)勢，然后幫助營銷主體有目的地改變營銷策略。這樣的營銷方式對于企業(yè)來說具有重要意義。企業(yè)通過對競爭對手的分析，可以對整個行業(yè)的發(fā)展進行掌握，也可以對市場的外部環(huán)境有個大致了解，從而有效降低營銷的風(fēng)險，進一步實現(xiàn)區(qū)域品牌營銷效益得而最大化。如，企業(yè)在推廣和運營或者招商的過程中對信息進行研究和分析，就可以根據(jù)商戶的具體情況進行適當(dāng)調(diào)整，并制訂可以增加客戶量的營銷方案。區(qū)域品牌營銷中利用大數(shù)據(jù)分析競爭對手，可以了解到對手的發(fā)展趨勢及狀況，從而對自身的發(fā)展戰(zhàn)略進行合理調(diào)整，并搶占商機。

3結(jié)語

隨著信息技術(shù)的快速發(fā)展，區(qū)域間的競爭也日益激烈，而大數(shù)據(jù)也在區(qū)域品牌營銷中得到了廣泛應(yīng)用，筆者相信區(qū)域品牌營銷中應(yīng)用大數(shù)據(jù)會發(fā)展得更為長遠。大數(shù)據(jù)技術(shù)的存在有效促進了區(qū)域品牌營銷的發(fā)展，且在經(jīng)濟市場的實踐營銷中也真實地證明了大數(shù)據(jù)的價值。區(qū)域品牌營銷要合理利用數(shù)據(jù)的優(yōu)勢，精確定位每一位消費者，并從繁雜的信息中提煉出對自身有利的信息，從而獲得良好的營銷效果。相關(guān)企業(yè)要建立有效合理的大數(shù)據(jù)營銷機制，并對數(shù)據(jù)的管理以及區(qū)域營銷費用的有效控制加強實行力度，通過提升客戶的品牌體驗提升營銷效率。雖然，目前在區(qū)域品牌營銷過程大數(shù)據(jù)的應(yīng)用還存在一些問題，但筆者相信在今后的發(fā)展中大數(shù)據(jù)能發(fā)揮出更大的作用。

作者：彭秋生 單位：中海油信息科技有限公司深圳分公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在煤礦安全生產(chǎn)的應(yīng)用

摘要:煤炭行業(yè)經(jīng)過多年的信息化應(yīng)用，積累了大量的安全生產(chǎn)數(shù)據(jù)，但對這些數(shù)據(jù)的深度利用還遠遠不夠。大數(shù)據(jù)提升了信息的獲取與處理能力，基于大數(shù)據(jù)處理技術(shù)，將安全生產(chǎn)數(shù)據(jù)進行有效整合，深度挖掘，對煤礦安全生產(chǎn)意義重大。本文闡述大數(shù)據(jù)的技術(shù)和發(fā)展趨勢，總結(jié)目前煤炭安全生產(chǎn)中大數(shù)據(jù)的應(yīng)用現(xiàn)狀，探討大數(shù)據(jù)在安全生產(chǎn)中的應(yīng)用方向。結(jié)果表明，大數(shù)據(jù)的應(yīng)用有助于提高煤炭安全生產(chǎn)的效率、節(jié)省成本和減少損失。

關(guān)鍵詞:煤礦;大數(shù)據(jù);安全生產(chǎn);應(yīng)用研究

大數(shù)據(jù)的概念于2008年在美國《自然》提出［1］。大數(shù)據(jù)概念的提出，是對大量數(shù)據(jù)處理的一個突破。它可以從紛繁復(fù)雜的數(shù)據(jù)中提取有效信息，并對有效信息進行分類、分層次處理?；谟嬎銠C等硬件設(shè)備，在對巨量有效信息進行深入挖掘之后，對之間因果關(guān)系進行分析，找出一些事件之間的因果關(guān)系。因此，大數(shù)據(jù)分析可掌握一些事件的規(guī)律，并對事件的走向進行預(yù)測。

1煤炭安全生產(chǎn)大數(shù)據(jù)現(xiàn)狀與問題

近年來，安監(jiān)及煤監(jiān)等部門通過監(jiān)測平臺的引入及應(yīng)用，已經(jīng)建立一定數(shù)量的數(shù)據(jù)庫。但是由于缺乏深入的整理和利用，仍存在很對問題。(1)數(shù)據(jù)量偏小，數(shù)據(jù)質(zhì)量低。由于在前期煤礦的生產(chǎn)中，并未提及大數(shù)據(jù)的理念，各個煤礦對自身礦區(qū)數(shù)據(jù)整理收集不夠。尤其是涉及礦難及事故方面，更是較少涉及。因此，導(dǎo)致有效數(shù)據(jù)少，可用數(shù)據(jù)欠缺。(2)未能與大數(shù)據(jù)技術(shù)統(tǒng)一標(biāo)準，缺乏依據(jù)。新技術(shù)在傳統(tǒng)領(lǐng)域的應(yīng)用必然會出現(xiàn)一些新問題，大數(shù)據(jù)技術(shù)也是如此。傳統(tǒng)的數(shù)據(jù)收集未能與大數(shù)據(jù)技術(shù)統(tǒng)一標(biāo)準，數(shù)據(jù)收集依據(jù)不足。(3)基于煤礦生產(chǎn)行業(yè)的特色，井下生產(chǎn)中防爆防火用具要求較高。因此，限制了一些高效、實時數(shù)據(jù)收集智能設(shè)備在該行業(yè)的使用。在大量的數(shù)據(jù)實時收集及整理時，困難較多。(4)煤礦安全生產(chǎn)及事故隱患分析主要依靠安全生產(chǎn)管理者分析，難以形成有效數(shù)據(jù)。專業(yè)智能設(shè)備在煤礦安全生產(chǎn)中使用不足或較少，難以完成大量數(shù)據(jù)收集任務(wù)。(5)專業(yè)人才欠缺。由于大數(shù)據(jù)理念較新，在實際應(yīng)用中偏向于高新產(chǎn)業(yè)及國家優(yōu)先發(fā)展產(chǎn)業(yè)。煤礦產(chǎn)業(yè)由于最近經(jīng)濟影響，專業(yè)人才儲備不足。

2煤炭行業(yè)安全現(xiàn)狀

目前，通過政府部門及企業(yè)的共同努力，安全投入到位，安全文化氛圍濃厚，煤炭行業(yè)事故率明顯降低，傷亡人數(shù)亦有較大回落。但是，該行業(yè)依然存在一些問題:(1)自動化水平低，近年來，煤炭行業(yè)先進機械及自動化監(jiān)測設(shè)備引進率較高。但是，相對于發(fā)達國家，還是有一定差距。主要表現(xiàn)在過于依靠工人經(jīng)驗，隨著煤炭進入深部開采，地質(zhì)情況復(fù)雜，經(jīng)驗越來越受限。(2)煤礦現(xiàn)在對事故的分析依然偏向于“事后分析型”，而真正有效的應(yīng)該是“事前預(yù)測型”。專業(yè)有效的事故分析工具在煤礦中使用較少也是造成此結(jié)果的原因之一，煤礦開采難度加大，以往經(jīng)驗不一定能夠適用。(3)信息共享率低。目前，礦難尤其是重特大傷亡事故是各個部門避而不談且不愿分享的數(shù)據(jù)，從而導(dǎo)致樣本有效性差。

3大數(shù)據(jù)在煤炭行業(yè)安全生產(chǎn)的關(guān)鍵地位

3．1數(shù)據(jù)收集、整理、分析及整合

人工數(shù)據(jù)和開源數(shù)據(jù)是煤礦安全生產(chǎn)管理者獲得大數(shù)據(jù)基礎(chǔ)的重要方法。人工數(shù)據(jù)雖然準確率高，但其具有成本較高、自動化水平較低、易發(fā)生人為原因錯誤的天然缺點。與之形成對比，開源數(shù)據(jù)自動化水平較高，成本較低。尤其在信息化綜合系統(tǒng)越來越多的應(yīng)用于煤炭行業(yè)，國家安監(jiān)局、煤監(jiān)局等各部門通力合作，建立綜合信息化平臺。這對大數(shù)據(jù)的收集、整理、分析、整合及預(yù)測都會起到積極的影響。

3．2大數(shù)據(jù)存儲平臺為煤炭安全生產(chǎn)提供及時的輿情信息

當(dāng)?shù)V難發(fā)生后，在處理礦難的過程中，大數(shù)據(jù)平臺為安全生產(chǎn)的管理者及民眾告知詳細信息。一方面，政府部門及監(jiān)督管理部門通過官方渠道及新發(fā)展的信息通道(如Wechat等)，及時有效的將相關(guān)真實信息傳遞給大眾，此舉可有效防止謠言誤傳。更可避免政府部門的工作陷入被動應(yīng)付狀態(tài)，保證災(zāi)難性事件發(fā)生之后社會的和諧穩(wěn)定;另一方面，每次事故也是一次珍貴的失敗實驗，對此次事故詳細分析，錄入大數(shù)據(jù)平臺，增加數(shù)據(jù)平臺豐富性的同時，對類似事故的預(yù)防、發(fā)生具有重要的參考價值。

3．3大數(shù)據(jù)拓展了煤炭安全生產(chǎn)的綜合分析能力

新技術(shù)在傳統(tǒng)行業(yè)的應(yīng)用是對傳統(tǒng)行業(yè)的一次產(chǎn)業(yè)升級，尤其是在煤炭行業(yè)。長期以來，我國煤炭行業(yè)生產(chǎn)安全性較差，生產(chǎn)效率較低，安全預(yù)警能力較差。通過引入大數(shù)據(jù)綜合分析平臺，可有效提高煤炭安全生產(chǎn)能力。有效改變煤炭行業(yè)事故率高、礦難頻發(fā)的狀況，如離層分析儀等數(shù)據(jù)平臺的引入，可有效預(yù)警頂板事故，大大降低頂板事故傷亡率。

4大數(shù)據(jù)在煤炭安全生產(chǎn)中的應(yīng)用

基于大數(shù)據(jù)分析理念，結(jié)合煤礦安全生產(chǎn)歷史及現(xiàn)狀，應(yīng)從以下四方面入手，提升大數(shù)據(jù)在煤礦安全生產(chǎn)中的整合能力。

4．1結(jié)合互聯(lián)網(wǎng)和云計算，建設(shè)煤礦安全綜合信息平臺

提升在線監(jiān)測能力，貴州省近年高薪招聘高素質(zhì)駐礦安全員，實現(xiàn)煤礦安全數(shù)據(jù)的實時更新及有效登錄，有利于建設(shè)煤礦綜合信息監(jiān)測平臺。全國也在提升煤炭行業(yè)對高素質(zhì)人才的吸引力，大力建設(shè)全國綜合監(jiān)測平臺。2010年美國某礦發(fā)生事故，引起網(wǎng)民廣泛關(guān)注［3］。網(wǎng)民通過數(shù)據(jù)監(jiān)測及政府安全監(jiān)督平臺，深入挖掘出事故背后利益關(guān)系，有效推動了美國礦業(yè)管理制度的完善及事故預(yù)防能力。

4．2逐步提高智能化監(jiān)測設(shè)備在煤礦使用比例

由于煤礦行業(yè)對安全標(biāo)準的高要求及煤礦行業(yè)富含瓦斯及地壓等影響因素，大量有效監(jiān)控設(shè)備在煤礦安全生產(chǎn)中使用受限。隨著大數(shù)據(jù)理念的發(fā)展及技術(shù)的發(fā)展，各種智能化技術(shù)也會在煤礦得到應(yīng)用。目前，煤礦六大系統(tǒng)都已建設(shè)完成，部分煤礦已采用了在線監(jiān)測設(shè)備及內(nèi)部通信設(shè)備，有效提高了智能化監(jiān)測設(shè)備在煤礦使用比例。

4．3加強管理，保證數(shù)據(jù)安全

如果不能有效安全使用大數(shù)據(jù)，會帶來意想不到的風(fēng)險。大數(shù)據(jù)的使用改變了傳統(tǒng)煤炭行業(yè)的分析方法，有效整合資源。在發(fā)展歷程中，也要防范數(shù)據(jù)濫用、惡意篡改等。大數(shù)據(jù)是珍貴的資源，要采取技術(shù)措施保證安全。個人不得隨意查看或用于其他用處，尤其是利用大數(shù)據(jù)做違法行為。政府與人民要聯(lián)動，確保大數(shù)據(jù)安全，真正服務(wù)于煤礦安全生產(chǎn)。

5結(jié)論

大數(shù)據(jù)在煤礦安全生產(chǎn)中的應(yīng)用，是一個新的領(lǐng)域與嘗試。在此歷程中，數(shù)據(jù)會越來越規(guī)范、有效，隨著此技術(shù)的普及，也將對現(xiàn)有安全管理模式產(chǎn)生有利影響。大數(shù)據(jù)的應(yīng)用必然引起傳統(tǒng)行業(yè)安全管理的一場變革，也將提高煤礦安全管理的技術(shù)能力。以技術(shù)促進管理，提高安全管理的自動化能力。政府管理部門及企業(yè)要聯(lián)動，形成合力，深入挖掘數(shù)據(jù)之間的關(guān)系，不拘泥于表面，發(fā)現(xiàn)數(shù)據(jù)之間的內(nèi)在聯(lián)系，從而為數(shù)據(jù)的整合及預(yù)測提供有效技術(shù)支持。通過大數(shù)據(jù)在煤炭行業(yè)中的深入應(yīng)用，為安全管理者及政府部門決策提供有效的理論依據(jù)，更好地服務(wù)于煤礦安全生產(chǎn)。

作者：蘇東毅 于迪 李勝男 單位：三門峽龍王莊煤業(yè)有限責(zé)任公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)在煙草數(shù)據(jù)中心的應(yīng)用

摘要：以大數(shù)據(jù)技術(shù)的發(fā)展為背景，結(jié)合江蘇煙草數(shù)據(jù)中心建設(shè)的實際情況，分析了江蘇煙草數(shù)據(jù)中心以Hadoop及Impala等大數(shù)據(jù)技術(shù)為核心，輔以Kettle和JSP等數(shù)據(jù)處理及展現(xiàn)技術(shù)共同構(gòu)建基于大數(shù)據(jù)技術(shù)的自定義數(shù)據(jù)查詢平臺的架構(gòu)設(shè)計和實現(xiàn)方案。展現(xiàn)了大數(shù)據(jù)技術(shù)帶來的遠超傳統(tǒng)技術(shù)平臺的靈活性以及對于大數(shù)據(jù)量查詢的快速響應(yīng)能力。

關(guān)鍵詞：煙草；數(shù)據(jù)中心；大數(shù)據(jù)；Hadoop；Impala

1.大數(shù)據(jù)技術(shù)現(xiàn)狀

當(dāng)前許多企業(yè)都已基本實現(xiàn)了信息化建設(shè)，企業(yè)積累了海量數(shù)據(jù)。同時企業(yè)間的競爭日益加劇，企業(yè)為了生存及發(fā)展需要保證自身能夠更加準確、快速和個性化地為客戶提供產(chǎn)品及服務(wù)。而大數(shù)據(jù)技術(shù)能夠從海量的數(shù)據(jù)中獲取傳統(tǒng)數(shù)據(jù)分析手段無法獲知的價值和模式，幫助企業(yè)更加迅速、科學(xué)、準確地進行決策和預(yù)測。

1.1大數(shù)據(jù)技術(shù)現(xiàn)狀

廣大企業(yè)的迫切需求反之也促進了大數(shù)據(jù)技術(shù)的飛速發(fā)展，涌現(xiàn)出了諸如Hadoop、Spark等實用的架構(gòu)平臺。其中，目前最主流的就是Hadoop。Hadoop的分布式處理架構(gòu)支持大規(guī)模的集群，允許使用簡單的編程模型進行跨計算機集群的分布式大數(shù)據(jù)處理。通過使用專門為分布式計算設(shè)計的文件系統(tǒng)HDFS，計算的時候只需要將計算代碼推送到存儲節(jié)點上，即可在存儲節(jié)點上完成數(shù)據(jù)本地化計算。因此，Hadoop實現(xiàn)了高可靠性、高可拓展性、高容錯性和高效性，可以輕松應(yīng)對PB級別的數(shù)據(jù)處理。

1.2大數(shù)據(jù)技術(shù)對煙草數(shù)據(jù)中心建設(shè)的影響

當(dāng)前，煙草企業(yè)基于多年的信息化建設(shè)已經(jīng)積累了海量數(shù)據(jù)，同時每天還不斷有新的各種數(shù)據(jù)產(chǎn)生。在高并發(fā)、大體量的情況下，需要在數(shù)據(jù)采集、存儲和運算方面采用與以往完全不同的計算存儲模式，這就不可避免地需要采用大數(shù)據(jù)技術(shù)。同時，除了購進單、卷煙交易數(shù)據(jù)、貨源投放數(shù)據(jù)等結(jié)構(gòu)化數(shù)據(jù)外，還產(chǎn)生越來越多的非結(jié)構(gòu)化數(shù)據(jù)，利用大數(shù)據(jù)技術(shù)，對非結(jié)構(gòu)化數(shù)據(jù)進行預(yù)處理，可為人工判斷和機器學(xué)縮減范圍。對海量數(shù)據(jù)以及非結(jié)構(gòu)化的信息進行分析統(tǒng)計，僅僅依靠傳統(tǒng)的技術(shù)手段很難實現(xiàn)，只有引入大數(shù)據(jù)技術(shù)才能充分的將所有的數(shù)據(jù)資源利用起來，成為企業(yè)決策的助力。

2.江蘇煙草數(shù)據(jù)中心應(yīng)用現(xiàn)狀

2.1江蘇煙草數(shù)據(jù)中心體系架構(gòu)

目前江蘇煙草數(shù)據(jù)中心以一體化數(shù)據(jù)中心、一體化數(shù)據(jù)管理和一體化數(shù)據(jù)分析三個部分為核心，構(gòu)建了一套完整的數(shù)據(jù)中心架構(gòu)。一體化數(shù)據(jù)中心是整個數(shù)據(jù)中心最核心的部分。通過數(shù)據(jù)倉庫模型、數(shù)據(jù)存儲、ETL工具等組成部分，構(gòu)建了業(yè)務(wù)數(shù)據(jù)的收集、加工、存儲、分發(fā)的總體架構(gòu)。建立了按ODS（SODS、UODS）、DW、DM三層結(jié)構(gòu)設(shè)計建設(shè)的數(shù)據(jù)倉庫。一體化數(shù)據(jù)管理通過主數(shù)據(jù)管理、信息代碼管理、ESB平臺構(gòu)建了企業(yè)主數(shù)據(jù)收集、標(biāo)準化、同步分發(fā)過程。結(jié)合指標(biāo)管理，全面管控企業(yè)的公用基礎(chǔ)信息。通過數(shù)據(jù)質(zhì)量管理，全面有效管控數(shù)據(jù)質(zhì)量。通過數(shù)據(jù)服務(wù)管理，有效提升數(shù)據(jù)中心的對外服務(wù)能力與水平。通過元數(shù)據(jù)管理來管理數(shù)據(jù)中心元數(shù)據(jù)。一體化數(shù)據(jù)分析通過構(gòu)建移動信息、業(yè)務(wù)分析、數(shù)據(jù)挖掘三大模塊，針對性解決當(dāng)前不同人員的決策、管理以及操作需求，發(fā)揮數(shù)據(jù)中心的數(shù)據(jù)、技術(shù)、平臺優(yōu)勢。通過移動信息模塊為各級領(lǐng)導(dǎo)提供決策支持；通過業(yè)務(wù)分析模塊為業(yè)務(wù)人員的日常工作提供支撐；通過數(shù)據(jù)挖掘模塊，發(fā)掘數(shù)據(jù)所蘊含的隱性價值。基于上述一整套架構(gòu)的支撐，目前數(shù)據(jù)中心構(gòu)建了全省范圍的數(shù)據(jù)集成、交換體系，一方面提升了全省基礎(chǔ)數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)的規(guī)范化程度和數(shù)據(jù)質(zhì)量，另一方面為在建業(yè)務(wù)系統(tǒng)的實施、已有系統(tǒng)的改造提供了標(biāo)準化的高質(zhì)量數(shù)據(jù)保障。

2.2大數(shù)據(jù)技術(shù)的應(yīng)用場景分析

隨著江蘇數(shù)據(jù)中心的不斷運行，一些基于傳統(tǒng)技術(shù)架構(gòu)的功能逐漸暴露出種種問題。其中較為突出的問題有：一是使用者對于大數(shù)據(jù)量數(shù)據(jù)的查詢需求?；趥鹘y(tǒng)技術(shù)架構(gòu)的查詢功能響應(yīng)較慢；二是分析支持靈活性的不足。傳統(tǒng)統(tǒng)計分析應(yīng)用的數(shù)據(jù)結(jié)構(gòu)大多是預(yù)先定義好的，面對靈活的非傳統(tǒng)的統(tǒng)計查詢需求難以支撐，需要進行額外的加工處理。江蘇煙草數(shù)據(jù)中心結(jié)合互聯(lián)網(wǎng)大數(shù)據(jù)技術(shù)特性，引入Hadoop平臺以及Impala等工具，搭建基于大數(shù)據(jù)的自定義數(shù)據(jù)查詢平臺，以補充基于傳統(tǒng)技術(shù)架構(gòu)的功能不足，并為未來進一步發(fā)展建設(shè)基于大數(shù)據(jù)技術(shù)和云環(huán)境的數(shù)據(jù)中心做好準備。

3.基于大數(shù)據(jù)的自定義數(shù)據(jù)查詢平臺實現(xiàn)

3.1設(shè)計思路及架構(gòu)

基于大數(shù)據(jù)的自定義數(shù)據(jù)查詢平臺是在現(xiàn)有數(shù)據(jù)中心的建設(shè)成果之上，以數(shù)據(jù)中心的數(shù)據(jù)存儲為基礎(chǔ)，以Hadoop、Hive、Impala等大數(shù)據(jù)技術(shù)工具為手段，以簡單靈活、快速高效的查詢展現(xiàn)為目標(biāo)，建立的數(shù)據(jù)查詢分析支持平臺。

3.2技術(shù)方案

自定義數(shù)據(jù)查詢平臺的建設(shè)主要涉及數(shù)據(jù)存儲架構(gòu)、后臺數(shù)據(jù)加工準備、前端展現(xiàn)三塊內(nèi)容。自定義數(shù)據(jù)查詢平臺的數(shù)據(jù)存儲分為兩部分。一部分為KETTLE、Impala等工具以及自定義查詢相關(guān)的元數(shù)據(jù)存儲，另一部分則是查詢所需的各種統(tǒng)計數(shù)據(jù)的存儲。元數(shù)據(jù)的存儲根據(jù)元數(shù)據(jù)庫的不同主要分為兩部分。第一部分為基于Mysql數(shù)據(jù)庫的元數(shù)據(jù)存儲。這部分元數(shù)據(jù)主要包括有ETL工具KETTLE的元數(shù)據(jù)，以及前端自定義查詢需要定義的權(quán)限、數(shù)據(jù)源、表、列和表列關(guān)系等信息。第二部分為基于Hive的元數(shù)據(jù)存儲。這部分存儲的是前端查詢需要使用的Impala工具的元數(shù)據(jù)。統(tǒng)計數(shù)據(jù)的存儲則是使用Hadoop的HDFS實現(xiàn)的。根據(jù)Hadoop平臺架構(gòu)，自定義數(shù)據(jù)查詢平臺的HDFS建立在6臺虛擬主機構(gòu)建的集群上的。其中：2臺虛擬主機作為NameNode，一臺為主節(jié)點，另一臺為備份節(jié)點；其余4臺虛擬主機都作為DataNode用于存儲數(shù)據(jù)。所有數(shù)據(jù)將會統(tǒng)一分塊自動分配存儲到4個DataNode上。自定義數(shù)據(jù)查詢平臺的數(shù)據(jù)加工，是通過開源ETL工具KETTLE實現(xiàn)的。通過KETTLE從數(shù)據(jù)中心現(xiàn)有數(shù)據(jù)倉庫及數(shù)據(jù)集市中讀取需要的數(shù)據(jù)，根據(jù)自定義數(shù)據(jù)查詢平臺的數(shù)據(jù)模型定義對數(shù)據(jù)進行處理，最終加載到Hadoop的HDFS文件系統(tǒng)中。自定義數(shù)據(jù)查詢平臺的前端展現(xiàn)功能，主要是基于JSP技術(shù)實現(xiàn)頁面開發(fā)，通過JDBC或者ODBC對后臺Mysql數(shù)據(jù)庫進行訪問。使用者在查詢頁面中組織定義查詢的內(nèi)容，查詢服務(wù)自動根據(jù)獲取的元數(shù)據(jù)信息將定義的查詢內(nèi)容拼接轉(zhuǎn)換成為查詢SQL，之后通過Impala執(zhí)行查詢SQL對HDFS文件系統(tǒng)中的統(tǒng)計數(shù)據(jù)進行查詢。

3.3系統(tǒng)實現(xiàn)效果

利用大數(shù)據(jù)技術(shù)，自定義數(shù)據(jù)查詢平臺較好地解決了目前數(shù)據(jù)中心所面對的問題，滿足了使用人員對于大數(shù)據(jù)量以及分析靈活性的需求。面對使用人員層出不窮的查詢需求，自定義數(shù)據(jù)查詢平臺通過預(yù)先梳理、分類定義各種維度以及統(tǒng)計指標(biāo)。使用者可以自由的根據(jù)實際需求選擇分析所需的維度及統(tǒng)計指標(biāo)，同時還可以基于這些基礎(chǔ)的內(nèi)容更進一步自定義過濾條件以及計算公式，并指定其展現(xiàn)形式。在大數(shù)據(jù)量查詢效率方面，自定義查詢平臺相比傳統(tǒng)架構(gòu)的查詢功能有了較大提升。

4.結(jié)束語

大數(shù)據(jù)技術(shù)的發(fā)展方興未艾，應(yīng)用前景無比廣闊，對各行各業(yè)的巨大作用正在逐步展現(xiàn)。江蘇煙草數(shù)據(jù)中心的建設(shè)既要看到大數(shù)據(jù)技術(shù)未來的前景，更需要明確地認識到大數(shù)據(jù)平臺的建設(shè)并非一朝一夕，需要有明確而長遠的規(guī)劃，不斷完善數(shù)據(jù)環(huán)境建設(shè)、云計算環(huán)境的構(gòu)建以及數(shù)據(jù)服務(wù)的擴展。

作者：郭文卓 王子豪 單位：中國煙草總公司江蘇省公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控的應(yīng)用

摘要：大數(shù)據(jù)的產(chǎn)生為公路工程質(zhì)量監(jiān)控技術(shù)帶來機遇與挑戰(zhàn)。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)具有典型的“4V”特征。為深入分析大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用，從公路工程質(zhì)量監(jiān)控大數(shù)據(jù)的產(chǎn)生、處理流程與關(guān)鍵技術(shù)等方面進行論述。分析了公路工程質(zhì)量監(jiān)控大數(shù)據(jù)的存儲結(jié)構(gòu)、計算過程以及數(shù)據(jù)可視化處理的流程，提出了公路工程質(zhì)量監(jiān)控大數(shù)據(jù)應(yīng)用時所面臨的問題與挑戰(zhàn)。

關(guān)鍵詞：大數(shù)據(jù)；公路工程；質(zhì)量監(jiān)控；應(yīng)用與挑戰(zhàn)

引言

近年來，隨著交通建設(shè)的迅速發(fā)展，截止2015年我國公路總里程將達到450萬公里，其中高速公路通車總里程達到10．8萬公里，全國高速公路路網(wǎng)已基本形成規(guī)模，促進了區(qū)域經(jīng)濟的發(fā)展，社會效益較好。在交通部的《國家公路網(wǎng)規(guī)劃（2013年—2030年）》發(fā)展規(guī)劃中，全國高速公路通車里程預(yù)計達到40萬公里，我國將基本實現(xiàn)省際多路連通、地市高速通達、縣縣國道覆蓋的目標(biāo)［1］。從上述規(guī)劃來看，僅高速公路的建設(shè)缺口就近30萬公里，其建設(shè)任務(wù)較重，另一方面，在工程建設(shè)過程中的質(zhì)量監(jiān)控也提出了新課題。以西部地區(qū)為例，交通運輸部質(zhì)量監(jiān)督局已在2012年3月啟動了西部項目“公路工程質(zhì)量安全過程控制智能化與遠程監(jiān)控技術(shù)研究”的研究工作，項目要求采用信息化技術(shù)手段，融入現(xiàn)代計算機技術(shù)、實時信息傳輸技術(shù)，人工智能化技術(shù)到工程監(jiān)督中，對重點工程、重點部位的實時監(jiān)控，實現(xiàn)工程質(zhì)量安全監(jiān)管的實時化、智能化、遠程化，彌補人為管理的漏洞和缺失，提高質(zhì)量監(jiān)控和監(jiān)管效能，以保障公路工程的建設(shè)質(zhì)量［2］。公路工程建設(shè)的智慧化監(jiān)管，需要對在其在建設(shè)過程中產(chǎn)生的大數(shù)據(jù)進行透徹分析，服務(wù)于管理者和決策者，便于及時排查和糾正在工程施工過程中潛在安全隱患，為生命和財產(chǎn)提供安全保障。

1公路工程質(zhì)量監(jiān)控大數(shù)據(jù)來源及其特點

就大數(shù)據(jù)而言，是一個抽象模糊的概念，大部分人也只是從數(shù)據(jù)量的大小和規(guī)模去感知，像TB、PB、ZB、YB這樣的數(shù)據(jù)量存儲單位被理解為大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)的區(qū)別，很顯然這僅僅是海量數(shù)據(jù)，在IT界被公認的具有Volume（容量大）、Variety（種類多）、Velocity（速度快）和Value（價值密度低）特征的數(shù)據(jù)，才能被稱為大數(shù)據(jù)，簡稱大數(shù)據(jù)4“V”特征［3］。

1．1公路工程質(zhì)量監(jiān)控中大數(shù)據(jù)的來源

公路工程建設(shè)在開始施工到驗收竣工，要產(chǎn)生大量的、類型各異的數(shù)據(jù)，其主要有以下幾種來源：（1）施工試驗數(shù)據(jù)：道路在施工前需要對工程中的各種使用材料在該項目環(huán)境條件下做實驗，以得出在該環(huán)境條件和地理區(qū)域條件下相應(yīng)材料的使用混合比及用量等。如：筑路用土，砂石材抖、石灰和水泥，普通水泥混凝土，穩(wěn)定土和建筑砂漿，瀝青材料，瀝青混合料等相關(guān)實驗數(shù)據(jù)，用數(shù)據(jù)來保障施工質(zhì)量，確保規(guī)范施工。（2）施工監(jiān)控數(shù)據(jù)：在工程項目施工階段，人員行為規(guī)范、施工操作規(guī)范、壓力傳感數(shù)據(jù)，施工環(huán)境溫度（濕度）等產(chǎn)生的文字、圖片、聲音和視頻數(shù)據(jù)。（3）施工應(yīng)急數(shù)據(jù)：在施工過程中會有各種突發(fā)事件，如何科學(xué)地把突發(fā)事件帶來的危害降到最低，最大程度減少人員和財產(chǎn)損失，是工程應(yīng)急處理的難題。在施工過程中，利用各種傳感器對突發(fā)事件進行動態(tài)監(jiān)測，將對應(yīng)急處置起到關(guān)鍵性的作用，而該過程中將產(chǎn)生大量的數(shù)據(jù)。（4）工程竣工檢測數(shù)據(jù)：在工程項目施工驗收階段，需對路基、路面、交安設(shè)施、機電系統(tǒng)等進行標(biāo)準檢測，判斷各項功能是否能達到標(biāo)準規(guī)范。如路基壓實度，路面承載能力、應(yīng)力數(shù)據(jù)，標(biāo)識標(biāo)線厚度、反光標(biāo)志系數(shù)等相關(guān)檢測數(shù)據(jù)。根據(jù)《公路工程質(zhì)量檢驗評定標(biāo)準》JTGF80－1－2012和JT－GF80－2－2004相關(guān)要求［4］，需產(chǎn)生大量的數(shù)據(jù)。隨著交通建設(shè)的快速發(fā)展，工程質(zhì)量監(jiān)控面臨新的挑戰(zhàn)，沿用以往“人工＋紙筆”的管理方式，基本不能實現(xiàn)工程質(zhì)量的科學(xué)化管理，根據(jù)工程質(zhì)量“終身制”的相關(guān)要求，在工程設(shè)計使用年限內(nèi)，承擔(dān)相應(yīng)的質(zhì)量終身責(zé)任，如沿用以往的管理方式也不便于責(zé)任的追溯。當(dāng)今“互聯(lián)網(wǎng)＋”時代，利用云計算對工程施工中產(chǎn)生的大數(shù)據(jù)進行分析，用數(shù)據(jù)來實現(xiàn)工程項目中全過程跟蹤管理和全方面實時監(jiān)測監(jiān)管，實現(xiàn)工程實體和質(zhì)量行為的實時自動監(jiān)管巡查和預(yù)警，將有助于提高工程質(zhì)量，保障國家財產(chǎn)安全。

1．2公路工程質(zhì)量監(jiān)控中大數(shù)據(jù)的特點

（1）數(shù)據(jù)規(guī)模在工程質(zhì)量監(jiān)控中，以施工人員行為監(jiān)控為例，一個質(zhì)量監(jiān)督點采用720P高清視頻圖像采集設(shè)備，每小時圖像采集數(shù)據(jù)經(jīng)壓縮處理后可達到3GB左右的大小，全天候采集一個月，產(chǎn)生的數(shù)據(jù)量約為2．16T［5］。在工程施工過程中隧道掘進、路基路面、橋梁結(jié)構(gòu)、材料攪拌、設(shè)備操作等等都需要對施工人員行為和過程進行視頻監(jiān)控，按上述計算，每月產(chǎn)生的數(shù)據(jù)能至少為PB級以上，按照交通部的《國家公路網(wǎng)規(guī)劃（2013年—2030年）》發(fā)展規(guī)劃，監(jiān)控視頻數(shù)據(jù)就將產(chǎn)生海量的數(shù)據(jù)。（2）數(shù)據(jù)類型在公路工程施工過程中產(chǎn)生的數(shù)據(jù)類型種類繁多，除工程質(zhì)量視頻監(jiān)控數(shù)據(jù)外，有影響工程施工質(zhì)量的環(huán)境檢測數(shù)據(jù)（如：溫度、濕度），施工材料檢測數(shù)據(jù)，工程質(zhì)量試驗檢測數(shù)據(jù)，潛在地質(zhì)災(zāi)害等數(shù)據(jù)，數(shù)據(jù)類型多樣。（3）數(shù)據(jù)價值密度對于在公路工程質(zhì)量監(jiān)控中產(chǎn)生的數(shù)據(jù)本身而言，數(shù)據(jù)量大，但其價值密度較小。如施工人員操作不符合規(guī)范，通常情況下就只有幾秒或幾分鐘，在PB級以上的數(shù)據(jù)量里，其占有的價值密度較低。（4）高速性在公路工程質(zhì)量監(jiān)控中，除對工程質(zhì)量本身監(jiān)督外，還應(yīng)對工程質(zhì)量進行把控和預(yù)警。如：路面未達到養(yǎng)護期要求而強行進行下一周期施工，此時系統(tǒng)就應(yīng)快速地對大數(shù)據(jù)進行分析，并及時發(fā)出預(yù)警提示。

2大數(shù)據(jù)的處理

隨著“互聯(lián)網(wǎng)＋”時代的發(fā)展，人們對各行各業(yè)中產(chǎn)生的大數(shù)據(jù)進行分析，給眾多決策者提供了有力的決策支持［6］。如：沃爾瑪超市通過大數(shù)據(jù)分析在超市行業(yè)中曾經(jīng)取得的輝煌成就；阿里巴巴通過大數(shù)據(jù)分析在電子商務(wù)行業(yè)取得的突破；滴滴打車或Uber通過大數(shù)據(jù)分析在出租車行業(yè)中取得的地位等等；均是基于大數(shù)據(jù)分析或處理而取得的成功案例［7］。然而在公路工程施工質(zhì)量監(jiān)控方面，大數(shù)據(jù)的應(yīng)用還較薄弱，通過對公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)進行分析，對不合格或不符合規(guī)范的工程質(zhì)量及時的啟動預(yù)警機制，將減少國家的財產(chǎn)損失，保障交通參與者的生命安全，為公路工程建設(shè)提供技術(shù)支撐。

2．1云計算

公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中，核心是對于數(shù)據(jù)的分析和處理?！霸朴嬎恪笔谴髷?shù)據(jù)處理的基礎(chǔ)，為數(shù)據(jù)分析提供技術(shù)保障。云計算利用Internet和虛擬技術(shù)把計算機各種軟、硬件資源融為一體，形成大規(guī)模的共享資源池，為用戶提供IaaS（基礎(chǔ)設(shè)施即服務(wù)），PaaS（平臺即服務(wù)），SaaS（軟件即服務(wù)）［8］。云計算是典型的分布式模型，為公路工程質(zhì)量監(jiān)控大數(shù)據(jù)并行處理提供平臺。Google、IBM、阿里云等知名公司大數(shù)據(jù)分析處理和應(yīng)用都是基于云計算為基礎(chǔ)，最典型的應(yīng)用就是分布式文件系統(tǒng)、批處理技術(shù)、分布式數(shù)據(jù)庫等［9］。

2．2大數(shù)據(jù)存儲技術(shù)

公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)在PE級以上，怎樣降低存儲成本、提高數(shù)據(jù)并發(fā)吞吐量是大數(shù)據(jù)存儲的關(guān)鍵。分布式文件系統(tǒng)，是大數(shù)據(jù)在存儲中的一種關(guān)鍵技術(shù)，Google公司研發(fā)的GFS（GoogleFileSystem）分布式文件系統(tǒng)是大數(shù)據(jù)在存儲中的典型應(yīng)用。其與后來研發(fā)的MapRe－duce、BigTable技術(shù)構(gòu)成了Google搜索引擎大數(shù)據(jù)存儲的三大核心技術(shù)［10］。公路工程質(zhì)量監(jiān)控中產(chǎn)生的海量異構(gòu)數(shù)據(jù)，存儲架構(gòu)分為存儲層、基礎(chǔ)管理層、應(yīng)用接口層、訪問層。存儲層主要完成數(shù)據(jù)接入與信息集成、存儲虛擬化存儲設(shè)備；基礎(chǔ)管理層主要包括集群數(shù)據(jù)、并行數(shù)據(jù)倉庫盒實時數(shù)據(jù)庫；應(yīng)用層接口主要完成任務(wù)管理、調(diào)度與監(jiān)控；訪問層主要包括視頻監(jiān)控系統(tǒng)、環(huán)境監(jiān)測系統(tǒng)、應(yīng)急指揮系統(tǒng)、實驗檢測系統(tǒng)和工程檔案系統(tǒng)等，如圖1所示。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)與其它類型的大數(shù)據(jù)有所不同，有的數(shù)據(jù)需要急時處理，響應(yīng)急時的特點，以便于做出急時的應(yīng)急響影決策，否則會造成重大經(jīng)濟損失和人員傷亡。故需要研究公路工程質(zhì)量監(jiān)控大數(shù)據(jù)在存儲結(jié)構(gòu)上的特點，為后續(xù)的數(shù)據(jù)分析提供支撐。

2．3實時數(shù)據(jù)處理技術(shù)

在公路工程質(zhì)量監(jiān)控產(chǎn)生的大數(shù)據(jù)，類型多樣，包括聲音、圖像、文本等結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)，通過數(shù)據(jù)清洗來消除數(shù)據(jù)不一致是非常有必要的，也是數(shù)據(jù)處理的關(guān)鍵因素。在大數(shù)據(jù)實時處理流程中數(shù)據(jù)分析（DataAnalysis）是核心，為提高數(shù)據(jù)的訪問速度，建立分布式數(shù)據(jù)庫，利用各種類型的大數(shù)據(jù)分析技術(shù)，對各種異構(gòu)的數(shù)據(jù)進行分析，最終利用可視化技術(shù)，把數(shù)據(jù)分析結(jié)果展現(xiàn)給用戶，以滿足公路工程在施工過程中監(jiān)督和決策的需求。傳統(tǒng)數(shù)據(jù)，一般采用關(guān)系數(shù)據(jù)庫來進行存儲，OLTPT和OLAP是傳統(tǒng)數(shù)據(jù)的主流應(yīng)用，SQL是傳統(tǒng)關(guān)系數(shù)據(jù)庫存系統(tǒng)的存取標(biāo)準［12］。但在公路工程質(zhì)量監(jiān)控中產(chǎn)生的數(shù)據(jù)，有很多不具有關(guān)系數(shù)據(jù)庫的條件，很多數(shù)據(jù)是非關(guān)系數(shù)據(jù)，故需要其它方式的數(shù)據(jù)分析管理技術(shù)。Google公司于2004年推出的MapReduce技術(shù)，它的并行數(shù)據(jù)處理方式是大數(shù)據(jù)分析和處理的典型應(yīng)用，其主要包括分布式文件系統(tǒng)（GFS），并行編程和并行執(zhí)行三個方面。GFS為大數(shù)據(jù)的儲存和并行計算提供平臺基礎(chǔ)支撐，采用鍵／值（key／value）方式對數(shù)據(jù)進行分布式存儲［12］。MapReduce是一個通過將任務(wù)獨立化進行計算的一種模型技術(shù)，主要有Map和Reduce兩個階段，首先把公路工程質(zhì)量監(jiān)控中產(chǎn)生的大數(shù)據(jù)按算法進行以＜key，value＞的形式進行任務(wù)分塊，把分塊任務(wù)交由Map進行并行執(zhí)行，執(zhí)行完Map函數(shù)后，將數(shù)據(jù)轉(zhuǎn)換成符合模型的＜key1，value1＞的形式，并把數(shù)據(jù)寫入硬盤。然后進入Reduce階段，Re－duce接受Map階段的執(zhí)行結(jié)果，對數(shù)據(jù)進行合并歸約計算，最終得到輸出結(jié)果，并寫入到GFS文件系統(tǒng)［13］。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)MapReduce計算過程，如圖2所示。圖2公路工程質(zhì)量監(jiān)控大數(shù)據(jù)計算過程公路工程質(zhì)量監(jiān)控大數(shù)據(jù)MapReduce并行計算模型，將簡化數(shù)據(jù)的計算過程，減少數(shù)據(jù)傳遞開銷，使公路工程質(zhì)量監(jiān)控中各類應(yīng)用程序設(shè)計直觀化。

3大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的機遇與挑戰(zhàn)

3．1大數(shù)據(jù)可視化分析技術(shù)

可視分析技術(shù)的定義是指：一種通過交互式可視化界面來輔助用戶對大規(guī)模復(fù)雜數(shù)據(jù)集進行分析推理的科學(xué)與技術(shù)［14］。大數(shù)據(jù)可視化分析是指在對數(shù)據(jù)挖掘分析的同時，利用可視化用戶界面以及人機交互技術(shù)，融合人的辨別能力與計算機的數(shù)據(jù)計算能力，為決策者提供更加科學(xué)、合理的決策依擾。公路工程質(zhì)量監(jiān)控大數(shù)據(jù)可視化分析關(guān)鍵核心是數(shù)據(jù)的集成和接口，而其數(shù)據(jù)規(guī)模大、快速多變、數(shù)據(jù)源異構(gòu)，使得對大數(shù)據(jù)的處理、分析和可視化帶來具大的挑戰(zhàn)。數(shù)據(jù)信息的可視化根據(jù)其特征分為一維信息、二維信息、三維信息、多維信息、層次信息、網(wǎng)絡(luò)信息、時序信息可視化，在公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中主要包括文本可視化、網(wǎng)絡(luò)或圖可視化、時空數(shù)據(jù)可視化、多維數(shù)據(jù)可視化等。文本信息是非結(jié)構(gòu)化數(shù)據(jù)的代表，是公路工程質(zhì)量監(jiān)控大數(shù)據(jù)中的主要信息類型，是記錄施工數(shù)據(jù)的重要環(huán)節(jié)，文本信息可視化可采用把文本語議結(jié)構(gòu)以樹的形式進行可視化操作；網(wǎng)絡(luò)或圖是大數(shù)據(jù)中最常見的關(guān)聯(lián)關(guān)系，是記錄施工過程狀態(tài)的重要信息，網(wǎng)絡(luò)或圖可視化可采用基于節(jié)點和邊的可視化方法；時空數(shù)據(jù)是帶地理位置標(biāo)簽的數(shù)據(jù)，是記錄施工環(huán)境狀態(tài)的重要信息，為反應(yīng)時間與空間的變化，一般采用流式地圖來展現(xiàn)；多維數(shù)據(jù)是多個維度空間的數(shù)據(jù)，是記錄整個施工過程的重要信息，一般可采用基于幾何圖形的可視方法來實現(xiàn)［15］。

3．2大數(shù)據(jù)在公路工程建設(shè)中的應(yīng)用

大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的應(yīng)用還處于起步初級階段，依托大數(shù)據(jù)建立質(zhì)量監(jiān)督管理、安全監(jiān)督管理、監(jiān)理行業(yè)管理、試驗行業(yè)管理、工程竣（交）工驗收管理、突發(fā)應(yīng)急預(yù)案、事件檢測、應(yīng)急響應(yīng)、現(xiàn)場救援、總結(jié)評估等平臺，以數(shù)據(jù)指標(biāo)為度量，直觀、全面、準確地監(jiān)測和分析各個環(huán)節(jié)要素的動態(tài)變化數(shù)據(jù)信息，為管理者提供科學(xué)決策依據(jù)，提高監(jiān)管效能。如：工程建設(shè)過程中突發(fā)事件應(yīng)急處理，可利用地理信息系統(tǒng)（GIS）平臺，對基礎(chǔ)地圖數(shù)據(jù)、應(yīng)急資源數(shù)據(jù)、重大危險源數(shù)據(jù)進行管理并以電子地圖顯示，可及時預(yù)測突發(fā)事件危險存在范圍，輔助突發(fā)事件應(yīng)對機制的決策。在建項目監(jiān)督管理，通過對試驗檢測實驗室、各種機械設(shè)施設(shè)備的數(shù)據(jù)采集，實現(xiàn)試驗檢測數(shù)據(jù)、設(shè)施設(shè)備主要數(shù)據(jù)的采集與匯聚，生成質(zhì)量監(jiān)控大數(shù)據(jù)。通過對大數(shù)據(jù)的分析和規(guī)范性電子監(jiān)控比對，實現(xiàn)工程實體和質(zhì)量行為的實時自動監(jiān)管巡查和預(yù)警等。

4總結(jié)

這是一個數(shù)據(jù)信息時代，不管是商業(yè)領(lǐng)域還是工程建設(shè)領(lǐng)域，都與數(shù)據(jù)有聯(lián)系，如何科學(xué)的運用這些數(shù)據(jù)來分析和解決問題，是各領(lǐng)域應(yīng)重視的問題［16］。本文對公路工程建設(shè)質(zhì)量監(jiān)控中大數(shù)據(jù)的產(chǎn)生、存儲、處理和數(shù)據(jù)特點等進行了深入分析，詳細介紹了大數(shù)據(jù)處理的關(guān)鍵技術(shù)，對大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中帶來的應(yīng)用進行了論述。但大數(shù)據(jù)在公路工程質(zhì)量監(jiān)控中的運用還處于起始階段，如何提高數(shù)據(jù)的采集質(zhì)量，解決工程建中大數(shù)據(jù)傳輸、提高數(shù)據(jù)可靠性等方面還存在著研究的空間，需要更多的研究者去探索和研究。

作者：肖祥林 周春容 單位：四川交通職業(yè)技術(shù)學(xué)院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)管理平臺在煉化企業(yè)管理的應(yīng)用

摘要：文中對某煉化企業(yè)的現(xiàn)狀及實際管理中存在的問題進行了分析，闡述了大數(shù)據(jù)管理平臺在煉化企業(yè)運行管理中的實施過程。該管理平臺可以促進裝置的高效運行、提高裝置的可控性、提升整體管理水平，對企業(yè)資源的合理配置與優(yōu)化具有重要意義。

關(guān)鍵詞：煉化企業(yè)；大數(shù)據(jù)；管理平臺；數(shù)據(jù)管理

大數(shù)據(jù)管理平臺是煉化企業(yè)優(yōu)化生產(chǎn)、安全管理的基礎(chǔ)。利用企業(yè)現(xiàn)有信息化管理平臺，同時開發(fā)、完善配套相關(guān)軟件和硬件，建立大數(shù)據(jù)庫，通過對數(shù)據(jù)的收集、整理、分析、篩選，對異常數(shù)據(jù)的產(chǎn)生原因進行分析，使異常偏差及時得到修正，使裝置工藝操作參數(shù)、物料、能耗、產(chǎn)品質(zhì)量、環(huán)保指標(biāo)等各項生產(chǎn)數(shù)據(jù)全面受控［1］。

1大數(shù)據(jù)管理平臺的實施背景

2015年10月某煉化公司優(yōu)化信息化管理，MES、ERP、統(tǒng)計信息平臺項目陸續(xù)上線。嚴格按照PDCA循環(huán)科學(xué)管理模式，做到有計劃、執(zhí)行、檢查處置的閉環(huán)管理。但是大部分裝置沒有網(wǎng)絡(luò)，數(shù)據(jù)不能上傳，只能電話報量，數(shù)據(jù)的重復(fù)錄入增加，出錯率較高，降低了MES系統(tǒng)的基礎(chǔ)數(shù)據(jù)完整性，生產(chǎn)基礎(chǔ)數(shù)據(jù)缺乏監(jiān)測和預(yù)警功能，不能及時發(fā)現(xiàn)生產(chǎn)波動；而各系統(tǒng)又存在共性問題就是各系統(tǒng)各自為政，沒有整合成大數(shù)據(jù)平臺，使各部門無法達到信息共享的目的［2］。裝置的生產(chǎn)運行涉及的生產(chǎn)計劃、物料平衡、生產(chǎn)能耗、三劑管理、生產(chǎn)異常、質(zhì)檢化驗、生產(chǎn)流程、三廢排放等數(shù)據(jù)一部分以電子表格形式存檔，一部分由獨立的應(yīng)用系統(tǒng)進行管理，沒有統(tǒng)一的數(shù)據(jù)庫，系統(tǒng)之間缺少數(shù)據(jù)接口，沒有權(quán)限控制功能，只能采用紙質(zhì)方式進行傳遞，安全性差，不便于數(shù)據(jù)檢索，難以對各類數(shù)據(jù)進行綜合分析和處理［3］。因此，需利用信息化手段，進行系統(tǒng)和信息的整合，便于數(shù)據(jù)的歸納、統(tǒng)計、分析和預(yù)判，挖掘數(shù)據(jù)和業(yè)務(wù)之間的內(nèi)在關(guān)聯(lián)，實現(xiàn)各項業(yè)務(wù)之間數(shù)據(jù)和信息的共享，根據(jù)市場變化，指導(dǎo)生產(chǎn)方案的制定和調(diào)整，實現(xiàn)效益最大化，提升管理水平。

2管理平臺的構(gòu)建

該管理平臺可以強化生產(chǎn)基礎(chǔ)數(shù)據(jù)管理，提高生產(chǎn)管理數(shù)據(jù)信息化，提高對生產(chǎn)基礎(chǔ)數(shù)據(jù)的監(jiān)測力度，監(jiān)督裝置物料計量儀表的準確性。發(fā)現(xiàn)異常數(shù)據(jù)及時通知相關(guān)部門進行處理，減少生產(chǎn)運行波動，保證生產(chǎn)運行平穩(wěn)［4］。管理平臺包括8個模塊，運行管理平臺見圖1。（1）生產(chǎn)計劃模塊：可查看物料、能耗、三劑生產(chǎn)計劃和計劃變更、生產(chǎn)優(yōu)化調(diào)整等情況。（2）物料平衡模塊：查看每天的物料變化動態(tài)，裝置加工量、產(chǎn)品產(chǎn)量、庫存情況、銷售情況等，了解市場需求。監(jiān)測生產(chǎn)超標(biāo)數(shù)據(jù)，及時調(diào)整生產(chǎn)方案，月底可查看公司物料、能耗統(tǒng)計報表。（3）生產(chǎn)能耗數(shù)據(jù)模塊：可查看公用工程動力消耗情況，瓦斯、氫氣和公用工程的產(chǎn)量、走向及消耗情況。（4）生產(chǎn)流程模塊：可掌握公司物料、能耗、瓦斯、氫氣的流程走向圖，掌握物料、能耗生產(chǎn)運行模式。（5）生產(chǎn)運行平穩(wěn)管理模塊：可及時統(tǒng)計裝置的平穩(wěn)率，查找異常數(shù)據(jù)，加強對異常數(shù)據(jù)的管理，提高裝置平穩(wěn)運行。（6）三劑管理模塊：可查看三劑的消耗及庫存情況，掌握裝置三劑的需求，保證運行穩(wěn)定。（7）質(zhì)檢化驗數(shù)據(jù)模塊：可通過LIMS系統(tǒng)查看產(chǎn)品質(zhì)量化驗分析數(shù)據(jù)，及時掌握產(chǎn)品質(zhì)量控制情況。（8）三廢排放流程模塊：可查看裝置污染物排放及指標(biāo)控制情況。

3管理平臺的功能

（1）及時統(tǒng)計裝置的平穩(wěn)率，查找異常數(shù)據(jù)，加強對異常數(shù)據(jù)的管理，提高裝置平穩(wěn)運行。（2）可查看裝置的生產(chǎn)計劃，技術(shù)指標(biāo)的完成情況。（3）可查看每天的物料變化動態(tài)，上、下游走向，裝置加工量、產(chǎn)品產(chǎn)量、庫存情況、銷售情況等，了解市場需求。（4）可查看公用工程動力消耗情況，瓦斯、氫氣和公用工程的產(chǎn)量、走向及消耗情況。（5）查看三劑的消耗及庫存情況。（6）可為生產(chǎn)優(yōu)化，方案調(diào)整提供有關(guān)數(shù)據(jù)。（7）可通過LIMS查看產(chǎn)品質(zhì)量化驗分析數(shù)據(jù)，及時掌握產(chǎn)品質(zhì)量控制情況。（8）可查看每天的裝置污染物排放及指標(biāo)控制情況。（9）可查看裝置開、停工期間物耗和能耗情況。

4管理平臺的實施

建立大數(shù)據(jù)管理平臺，使數(shù)據(jù)的使用者無需關(guān)心數(shù)據(jù)來源，更專注于數(shù)據(jù)的使用；打破系統(tǒng)之間的壁壘，抽取現(xiàn)有MES、LIMS的各類關(guān)鍵生產(chǎn)數(shù)據(jù)，融入大數(shù)據(jù)平臺；將生產(chǎn)計劃及指標(biāo)完成情況、裝置平穩(wěn)率及異常記錄、物料變化動態(tài)、裝置加工量、產(chǎn)品產(chǎn)量與庫存情況、能耗、質(zhì)量化驗分析數(shù)據(jù)等信息和數(shù)據(jù)重新組織后整合入大數(shù)據(jù)平臺［5］。（1）將計劃、能耗、三劑、物料（含煉油產(chǎn)品、化工產(chǎn)品、煉油流程-運行、潤滑油流程、聚合流程、聚二流程、聚丙烯、帶料加工）的年度計劃、月度計劃、計劃變更和生產(chǎn)優(yōu)化等報表集成在同一個網(wǎng)頁環(huán)境，可查看物料、能耗、三劑生產(chǎn)計劃和計劃變更、生產(chǎn)優(yōu)化調(diào)整等情況，提高工作效率。（2）對生產(chǎn)基礎(chǔ)數(shù)據(jù)的監(jiān)測。物料平衡包括物料庫存、異常生產(chǎn)數(shù)據(jù)、原料入廠產(chǎn)品出廠、月統(tǒng)計報表、裝置數(shù)據(jù)；生產(chǎn)能耗數(shù)據(jù)包括各裝置生產(chǎn)能耗數(shù)據(jù)文檔的上傳、展示，可查看每天的物料變化動態(tài)，裝置加工量、產(chǎn)品產(chǎn)量、庫存情況、銷售情況等，了解市場需求。生產(chǎn)能耗數(shù)據(jù)包括公司、專業(yè)廠、各裝置生產(chǎn)能耗數(shù)據(jù)，監(jiān)測生產(chǎn)超標(biāo)數(shù)據(jù)，及時調(diào)整生產(chǎn)方案，保證裝置平穩(wěn)運行。月底可查看公司物料、能耗統(tǒng)計報表。（3）生產(chǎn)運行平穩(wěn)管理包括操作平穩(wěn)率、異常生產(chǎn)操作指標(biāo)等，及時發(fā)現(xiàn)裝置運行參數(shù)異常，加強日常生產(chǎn)監(jiān)控分析，對出現(xiàn)異常情況、數(shù)據(jù)偏差及時分析調(diào)整，及時處理，保證裝置安全、平穩(wěn)、高效運行。（4）生產(chǎn)能耗數(shù)據(jù)包括公司、專業(yè)廠、各裝置生產(chǎn)能耗數(shù)據(jù)的展示、上傳。（5）掌握物料、能耗、廢物排放等流程。生產(chǎn)流程包括3.5MPa、1.0MPa蒸汽平衡圖、除氧水平衡圖、氮氣流程圖、電流程圖、凈化風(fēng)非凈化風(fēng)流程圖、氫氣平衡圖、脫鹽水平衡圖、瓦斯流程圖、物料流程圖、新鮮水平衡圖、循環(huán)水平衡圖；三廢排放流程包括廢水、廢棄、廢渣流程圖、平衡圖等。及時監(jiān)督裝置計量儀表的準確性。（6）三劑管理包括煉油一廠、二廠、潤滑油、聚丙烯、儲運廠等專業(yè)廠三劑使用和庫存情況等。（7）集成LIMS系統(tǒng)，可直接查看化驗數(shù)據(jù)，及時掌握產(chǎn)品質(zhì)量控制情況（8）數(shù)據(jù)采集。平臺通過數(shù)據(jù)接口自動從MES質(zhì)檢分析系統(tǒng)同步，對于不能自動采集的數(shù)據(jù)，卡法數(shù)據(jù)上傳功能，暫時采用人工錄入的方式采集。（9）將現(xiàn)有生產(chǎn)報表基礎(chǔ)數(shù)據(jù)（平衡后的數(shù)據(jù)），整理后導(dǎo)入到Sqlserver數(shù)據(jù)庫中，建立分廠、車間、裝置三級拓撲關(guān)系，從而實現(xiàn)下階段可根據(jù)用戶個性化需求開發(fā)各類報表功能。5實施效果該大數(shù)據(jù)管理平臺投用后，各級生產(chǎn)管理人員可通過系統(tǒng)中的生產(chǎn)計劃、物料平衡、生產(chǎn)能耗數(shù)據(jù)、生產(chǎn)流程、生產(chǎn)運行平穩(wěn)情況、三劑管理、質(zhì)檢化驗數(shù)據(jù)、三廢排放流程、生產(chǎn)異常報警等功能，查看裝置的生產(chǎn)計劃，技術(shù)指標(biāo)的完成情況、每天的物料變化動態(tài)，上、下游走向，裝置加工量、產(chǎn)品產(chǎn)量、三劑的消耗及庫存情況等；查看公用工程動力消耗情況，瓦斯、氫氣和公用工程的產(chǎn)量、走向及消耗情況為生產(chǎn)優(yōu)化，方案調(diào)整提供有關(guān)數(shù)據(jù)；查看產(chǎn)品質(zhì)量化驗分析數(shù)據(jù)，及時掌握產(chǎn)品質(zhì)量控制情況；查看裝置開、停工期間物耗和能耗情況等，加強生產(chǎn)管理，保障裝置平穩(wěn)運行。6結(jié)論（1）通過大數(shù)據(jù)庫，能夠使生產(chǎn)報表自動化程度得到更大的提升，減少崗位人工錄入數(shù)據(jù)，降低數(shù)據(jù)出錯率，提高報表準確率。（2）開發(fā)計量生產(chǎn)基礎(chǔ)數(shù)據(jù)監(jiān)測，能夠監(jiān)測生產(chǎn)狀態(tài)，使預(yù)警數(shù)據(jù)及時反饋給崗位和相關(guān)部門負責(zé)人，使預(yù)警數(shù)據(jù)及時得到處理，保證生產(chǎn)安全平穩(wěn)運行，同時確保計量數(shù)據(jù)的準確性。（3）通過生產(chǎn)基礎(chǔ)數(shù)據(jù)監(jiān)測，運用網(wǎng)絡(luò)新技術(shù)，建立生產(chǎn)運行計量管理新模式，整合計量生產(chǎn)大數(shù)據(jù)，為生產(chǎn)經(jīng)營決策提供可靠數(shù)據(jù)。（4）強化生產(chǎn)基礎(chǔ)數(shù)據(jù)管理，提高生產(chǎn)管理數(shù)據(jù)信息化，提高對生產(chǎn)基礎(chǔ)數(shù)據(jù)的監(jiān)測力度，發(fā)現(xiàn)異常數(shù)據(jù)及時通知相關(guān)部門進行處理，減少生產(chǎn)運行波動，保證生產(chǎn)運行平穩(wěn)。

作者：王建平 單位：大慶煉化公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在互聯(lián)網(wǎng)金融風(fēng)控的應(yīng)用

摘要：21世紀是信息時代，互聯(lián)網(wǎng)高度普及，與金融的融合推動了互聯(lián)網(wǎng)金融的飛速發(fā)展，而互聯(lián)網(wǎng)金融的快速發(fā)展離不開大數(shù)據(jù)技術(shù)的支持。文章針對大數(shù)據(jù)在互聯(lián)網(wǎng)中的應(yīng)用提出創(chuàng)新方向，并分析了應(yīng)用場景、應(yīng)用現(xiàn)狀，希望能夠為用戶提供更多貼心、便捷的服務(wù)。

關(guān)鍵詞：大數(shù)據(jù)；互聯(lián)網(wǎng)金融；風(fēng)險控制；網(wǎng)絡(luò)平臺；風(fēng)險管理體制

互聯(lián)網(wǎng)金融是一種新興金融，依托于互聯(lián)網(wǎng)工具如社交網(wǎng)絡(luò)、云計算、搜索引擎等實現(xiàn)資金的融通、支付等業(yè)務(wù)，保證在安全、移動等網(wǎng)絡(luò)水平上被電子商務(wù)用戶接受以后產(chǎn)生的新模式、新業(yè)務(wù)，適應(yīng)更多人的需求。未來的互聯(lián)網(wǎng)金融發(fā)展空間無限大，現(xiàn)階段互聯(lián)網(wǎng)競爭不只是平臺的競爭，更是大數(shù)據(jù)的競爭。

1互聯(lián)網(wǎng)金融和大數(shù)據(jù)的特點

1.1互聯(lián)網(wǎng)金融的特點

交易成本低廉：資金供給雙方在資金的融通過程中所發(fā)生的成本稱之為交易成本，互聯(lián)網(wǎng)借助信息網(wǎng)絡(luò)，減少了人力、物力的投入，信息、匹配產(chǎn)品、定價、交易都依靠互聯(lián)網(wǎng)完成，大大降低了交易成本。交易過程快捷簡單：互聯(lián)網(wǎng)金融模式下金融業(yè)務(wù)由計算機操作，效率高、速度快，不受時間、空間的限制，客戶只需要一臺電腦就可以實現(xiàn)資金的高效運轉(zhuǎn)。數(shù)據(jù)價值大：依托于大數(shù)據(jù)和電子商務(wù)，互聯(lián)網(wǎng)金融實現(xiàn)飛速發(fā)展，互聯(lián)網(wǎng)的便利性使得人們的生活和工作依賴于互聯(lián)網(wǎng)，將一些單位和個人的消費信息在網(wǎng)絡(luò)空間暴露，產(chǎn)生了海量的數(shù)據(jù)庫，數(shù)據(jù)就是資源，只要加以分析和研究就是巨大的商業(yè)價值。風(fēng)險系數(shù)高、創(chuàng)新強：隨著科技的發(fā)展，不斷產(chǎn)生新的金融產(chǎn)品、融資形式，一些互聯(lián)網(wǎng)產(chǎn)品和支付方式也層出不窮，如網(wǎng)絡(luò)銀行、網(wǎng)絡(luò)保險公司、眾籌融資、網(wǎng)絡(luò)證券公司、余額寶、支付寶、微信支付、網(wǎng)絡(luò)貸款等。但現(xiàn)階段對互聯(lián)網(wǎng)金融的監(jiān)管力度較弱，缺乏法律約束，導(dǎo)致一些不法分子非法集資，進行網(wǎng)絡(luò)詐騙，嚴重危害了互聯(lián)網(wǎng)金融的安全。

1.2大數(shù)據(jù)技術(shù)

大數(shù)據(jù)是在信息時代由硅圖公司麥肯錫提出的全新概念，用來描述和定義信息時代的海量數(shù)據(jù)，是從各種海量的數(shù)據(jù)中快速尋找有價值的信息，進行高度提純，增加數(shù)據(jù)信息的利用率。大數(shù)據(jù)技術(shù)體系分為大數(shù)據(jù)的采集與預(yù)處理、存儲與管理、計算模式與系統(tǒng)、分析與挖掘、可視化計算、隱私與安全等方面，可優(yōu)化數(shù)據(jù)處理環(huán)節(jié)，提高數(shù)據(jù)處理效率。其特點主要是數(shù)據(jù)體量大、類型多、處理速度快、價值密度低。當(dāng)今社會大數(shù)據(jù)無處不在，滲透在人們?nèi)粘５纳?、學(xué)習(xí)、工作中。以阿里巴巴小額貸款為例，2015年累計放款1953億元人民幣，交易額增長了40%。大數(shù)據(jù)的利用能夠有效降低交易成本，提高交易頻率，拓寬交易空間，改善交易體驗，促進互聯(lián)網(wǎng)金融的發(fā)展，但也存在一些隱患和風(fēng)險，會泄露個人隱私，限制企業(yè)的管理決策等。

2大數(shù)據(jù)在互聯(lián)網(wǎng)金融中的應(yīng)用

雖然大數(shù)據(jù)的應(yīng)用在現(xiàn)階段并沒有完全達到預(yù)期的精確性，但是已經(jīng)有很多較為成功的案例。如DataSifi根據(jù)對社交數(shù)據(jù)網(wǎng)絡(luò)的分析總結(jié)，制定出具體的方案；Zest利用大數(shù)據(jù)信用評估，已經(jīng)獲得一億美元的融資；Decide利用價格信息預(yù)估價格走勢，提出了較合理的購買建議等。隨著數(shù)據(jù)的積累和平臺的發(fā)展，互聯(lián)網(wǎng)金融逐漸盛行，受余額寶、微信理財通等的影響，國內(nèi)主要應(yīng)用于理財方面，實際上金融服務(wù)中最具剛性需求的服務(wù)是貸款，大數(shù)據(jù)促進了金融創(chuàng)新。

2.1高頻交易和算法交易

交易者為實現(xiàn)高額利潤，利用交易程序和硬件設(shè)備，快速分析、生成、獲取和發(fā)送交易指令，可以在較短的時間內(nèi)完成較多的交易。高頻交易主要通過分析金融大數(shù)據(jù)，對特定的參與者的交易痕跡進行識別和總結(jié)，如：一支共同基金的大額訂單通常情況下出現(xiàn)在收盤前最后一分鐘的第一秒，能識別出此模式的算法就可以預(yù)算出這只基金在其他時間的動向，如果繼續(xù)執(zhí)行交易，必須付出更高的價格，算法交易商趁機獲取利潤。

2.2進行市場情緒分析

大約兩年前，對沖基金從各種社交媒體中提取市場情緒信息進而開發(fā)出算法交易，如Facebook、博客、聊天室等。如發(fā)現(xiàn)有恐怖襲擊、自然災(zāi)害的意外信息時就會拋出訂單，精神病專家理查德?彼得于2008年在美國加州圣莫尼卡集資100萬美元建立對沖基金，通過追蹤網(wǎng)站、微博、聊天室分析企業(yè)情緒，確定基金的交易策略，該基金的回報率在2010年高達40%。又如位于倫敦的小型對沖基金DCM從社交媒體上收集信息，分析人們對金融工具的情緒，幫助投資者制定投資計劃。

2.3提高風(fēng)險的管理力度

金融機構(gòu)通過對大量小型用戶交易行為的數(shù)據(jù)進行收集，并對其交易范圍、經(jīng)營狀況、用戶、資金需求以及行業(yè)的發(fā)展進行具體的分析，解決小型企業(yè)的經(jīng)營難題。阿里小貸首創(chuàng)了線上的審核到放貸的模式，有效連接貸款的全過程，為弱勢群體提供個性化的小額貸款。

3互聯(lián)網(wǎng)金融風(fēng)險控制的一般原則

風(fēng)險控制最有效的方法就是將所有的雞蛋以不同的比例分開裝在不同的籃子里，即“小額、分散”，避免集中投放?！胺稚ⅰ痹陲L(fēng)險控制方面有著非常重要的作用，借款客戶個體差異性較大，所處的地域不同，且自身的條件有差異如年齡、學(xué)歷等，這些分散的個體其違約的概率相對獨立，同時違約的概率非常小。如100個獨立的個人其違約的概率是20%，如果隨機抽2個人，同時違約的概率為20%2即4%，隨機抽出5個人，同時違約的概率為20%5，如果抽出8個人同時違約的概率為20%8，但是如果這100個人存在相關(guān)性，甲違約的時候乙也違約，那他們同時違約的概率就是10%（20%?50%），遠遠高于4%，因此貸款個體之間的獨立性是降低風(fēng)險的必要措施?！靶☆~”是避免“小樣本偏差”。如：某貸款公司現(xiàn)在的貸款一共有10億，如果每個借款人平均可以借5萬，總共有2萬客戶，如果單筆借款金額是100萬，就有1000個客戶。根據(jù)統(tǒng)計學(xué)中的法則，樣本個數(shù)越多，越能符合正態(tài)分布規(guī)律。因此，如果借款人違約率是2%，那這5萬個客戶的違約率就會高于1000個客戶的違約率。通過數(shù)據(jù)分析建立風(fēng)控模型和決策引擎也非常重要。小額分散借款客戶較多，若銀行采用傳統(tǒng)的信審模式不能統(tǒng)一量度還款能力、還款意愿，就會增加風(fēng)險成本。因此可以借鑒國外的P2P，采用信貸工廠模式，建立風(fēng)險模型，根據(jù)客戶的行為特征判斷出該客戶的違約概率，降低人工審核的成本，避免人工審核和判斷標(biāo)準的誤差。風(fēng)控體系的核心方法除了依據(jù)小額分散原則外，要研究不同特征個體的違約率，建立數(shù)據(jù)風(fēng)控模型和評分卡體系，將其固定到風(fēng)控審批的業(yè)物流程和決策引擎中，掌握不同特征個人的違約率程度，指導(dǎo)風(fēng)險審批業(yè)務(wù)開展。

4大數(shù)據(jù)在互聯(lián)網(wǎng)金融風(fēng)控方面的具體應(yīng)用

由于國內(nèi)金融體系尚不完善，國內(nèi)的用戶數(shù)據(jù)雖數(shù)量較大但不準確，導(dǎo)致現(xiàn)階段國內(nèi)將大數(shù)據(jù)方式涉及到互聯(lián)網(wǎng)金融的產(chǎn)品還比較少，數(shù)據(jù)來源困難且不精準增加了互聯(lián)網(wǎng)金融的困難。在不依賴央行征信系統(tǒng)的情況下，各具特色的風(fēng)險控制系統(tǒng)在互聯(lián)網(wǎng)市場自發(fā)形成，小公司通過信息分享，借助第三方獲得咨詢服務(wù)，而大公司則通過大數(shù)據(jù)建立信用評級系統(tǒng)?，F(xiàn)階段互聯(lián)網(wǎng)金融的風(fēng)控體系大致有兩種：一種是眾多的中小互聯(lián)網(wǎng)金融公司給中間征信機構(gòu)貢獻數(shù)據(jù)，進而獲得征信信息的分享權(quán)；另一種類似于與阿里巴巴的風(fēng)控模式，建立信用評級和風(fēng)控模型需要對大量的電商交易和支付信息數(shù)據(jù)進行分析。央行的征信系統(tǒng)結(jié)合身份認證中心的身份審核，通過社會機構(gòu)和商業(yè)銀行的數(shù)據(jù)，給銀行提供銀行信用查詢和個人信用的相關(guān)報告，但對其他的互聯(lián)金融公司或機構(gòu)不提供查詢服務(wù)，一些個人信貸記錄也沒有在該系統(tǒng)里，但有可能在其他的機構(gòu)和互聯(lián)網(wǎng)金融公司的系統(tǒng)里存在?；ヂ?lián)網(wǎng)數(shù)據(jù)龐雜且量大，充滿噪音。阿里建立完善的大數(shù)據(jù)挖掘系統(tǒng)較早，但是很多人還處于迷茫狀態(tài)，通過淘寶、天貓、支付寶等積累大量支付數(shù)據(jù)作為基礎(chǔ)的數(shù)據(jù)原料，結(jié)合賣家的銷售數(shù)據(jù)和銀行流水等數(shù)據(jù)，進行全面匯總后借助網(wǎng)絡(luò)評分的模型進行信用評級活動。信用卡類網(wǎng)站的大數(shù)據(jù)同樣也對互聯(lián)網(wǎng)金融風(fēng)險控制具有非常重要的價值，可參考用戶信用卡辦卡年份、還款信息、信用額度、卡片種類等進行信用評級。2013年阿里巴巴收購新浪微博18%的股份花費5.86億美元，目的就是為了獲得社交大數(shù)據(jù)，進而完善了大數(shù)據(jù)，信用卡的還款信息、交易、支付、淘寶的水電煤繳費信息現(xiàn)階段已經(jīng)成為數(shù)據(jù)的基礎(chǔ)。未來第三方支付平臺支付的方向、額度、購買品牌及金額都可能成為信用評級的數(shù)據(jù)參考，而生活類服務(wù)網(wǎng)站有關(guān)用戶的生活消費如水、電、煤、物業(yè)費、電話費、網(wǎng)絡(luò)費都有可以反映用戶的基本信息，為信用評級提供重要的參考，擁有這些所有的大數(shù)據(jù)才能夠進行數(shù)據(jù)的加工。

5結(jié)語

社會經(jīng)濟的發(fā)展離不開金融的支持?；ヂ?lián)網(wǎng)金融服務(wù)將會建立更完善、更全面的信用體制和風(fēng)險管理體制，從粗放式向精細化轉(zhuǎn)型，從抵押向信用轉(zhuǎn)變，風(fēng)險控制將變得很關(guān)鍵，大數(shù)據(jù)毫無疑問也變得非常重要，但是現(xiàn)階段互聯(lián)網(wǎng)交易額較小，用戶規(guī)模不大，需要結(jié)合實際情況及時修正模型，從而優(yōu)化風(fēng)險控制模型。

作者：汪瓊 單位：百融（北京）金融信息服務(wù)股份有限公司

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)對網(wǎng)絡(luò)安全的應(yīng)用

摘要：隨著計算機網(wǎng)絡(luò)技術(shù)在各個行業(yè)中的應(yīng)用與發(fā)展的不斷廣泛化，網(wǎng)絡(luò)安全也越來越受到企業(yè)和個人的重視。網(wǎng)絡(luò)安全不僅會影響國家重要信息的安全性也會影響私人信息的安全，而現(xiàn)階段大數(shù)據(jù)技術(shù)的不斷引進與應(yīng)用使得信息網(wǎng)絡(luò)進入到了一個新的發(fā)展階段。現(xiàn)在全球數(shù)據(jù)存有量正在每年超過40%的速度在增長，然而信息網(wǎng)絡(luò)所承載的信息數(shù)據(jù)正在向分散化、多樣化，復(fù)雜化的趨勢發(fā)展從而增加了網(wǎng)絡(luò)信息數(shù)據(jù)管理的難度，更沖擊了傳統(tǒng)的網(wǎng)絡(luò)安全管理技術(shù)，介于網(wǎng)絡(luò)信息數(shù)據(jù)增長速度之快，影響網(wǎng)絡(luò)安全的因素也在不斷地增加，所以網(wǎng)絡(luò)安全迫切的需要引進大數(shù)據(jù)技術(shù)來進行網(wǎng)絡(luò)安全分析，滿足高科技環(huán)境下信息網(wǎng)絡(luò)安全的需求。

關(guān)鍵詞：網(wǎng)絡(luò)安全分析；大數(shù)據(jù)技術(shù)；應(yīng)用

引言

隨著網(wǎng)絡(luò)技術(shù)應(yīng)用的普遍性，網(wǎng)絡(luò)安全分析的數(shù)據(jù)也在呈指數(shù)曲線的速度增加，而且數(shù)據(jù)來源的廣泛性和內(nèi)容的細致性也使得網(wǎng)絡(luò)安全分析的架構(gòu)也越來越復(fù)雜，分析維度也越來越大，再加上4G時代的到來和智能化設(shè)備的不斷更新?lián)Q代使得信息數(shù)據(jù)的發(fā)送和接收速度也越來越快，數(shù)據(jù)分析的速度跟不上使網(wǎng)絡(luò)安全漏洞增加，影響力增大，造成此現(xiàn)象嚴重的主要原因就是網(wǎng)絡(luò)安全傳統(tǒng)分析架構(gòu)已經(jīng)不能滿足現(xiàn)在網(wǎng)絡(luò)信息數(shù)據(jù)分析的要求了，所以要引進新的技術(shù)。

1大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用

1.1大數(shù)據(jù)技術(shù)分析

大數(shù)據(jù)安全分析主要是為了完善網(wǎng)絡(luò)安全分析中傳統(tǒng)安全分析能力的不足，大數(shù)據(jù)技術(shù)的核心技術(shù)分別是分布式采集處理、自然語言理解、流量計算引擎、關(guān)聯(lián)分析、大規(guī)模機器學(xué)習(xí)和可視化人機交互等多種分析方法[1]，實現(xiàn)在規(guī)模不斷擴大的海量異構(gòu)數(shù)據(jù)信息中快速發(fā)現(xiàn)安全攻擊和安全威脅的一種工具。在大數(shù)據(jù)技術(shù)安全分析中該技術(shù)主要從分布式計算框架、流式計算引擎、分布式存儲技術(shù)來分析的。分布式計算框架不依賴高端硬件、擴展性強的優(yōu)點提高了大數(shù)據(jù)技術(shù)應(yīng)用的適應(yīng)性，使得一些低端配置的設(shè)備都能引用該技術(shù)；流式計算引擎主要通過解決大數(shù)據(jù)歷史分析系統(tǒng)交互式計算，給網(wǎng)絡(luò)信息數(shù)據(jù)的快速查找提供了便利條件；分布式存儲技術(shù)能夠利用多臺存儲設(shè)備來分擔(dān)大量數(shù)據(jù)的存儲負荷，從而擴大了大數(shù)據(jù)技術(shù)存儲的能力，也降低了存儲管理成本，在一定程度上也提高了整個網(wǎng)絡(luò)安全系統(tǒng)的可靠性和安全性。

1.2網(wǎng)絡(luò)安全分析引入大數(shù)據(jù)技術(shù)的必要性

隨著網(wǎng)絡(luò)信息數(shù)據(jù)量的大量增加，數(shù)據(jù)來源越來越廣泛細致，分析維度也越來越大的特點下，利用傳統(tǒng)的技術(shù)架構(gòu)和結(jié)構(gòu)化數(shù)據(jù)庫進行數(shù)據(jù)的存儲的和分析，不僅會增大網(wǎng)絡(luò)信息數(shù)據(jù)的存儲成本，也會導(dǎo)致一部分信息數(shù)據(jù)被丟失，并且隨著時間的延長有些時間較長的數(shù)據(jù)不能很好地被保存起來，這樣就會給日后信息數(shù)據(jù)的追蹤和查找?guī)砹死щy，并且數(shù)據(jù)廣泛的來源也給異構(gòu)數(shù)據(jù)的關(guān)聯(lián)分析和融合帶來了很大的困難，而對于傳統(tǒng)的網(wǎng)絡(luò)安全分析的技術(shù)已經(jīng)很難滿足現(xiàn)在龐大的、迥異的網(wǎng)絡(luò)信息數(shù)據(jù)分析的需求了。早在2013年的調(diào)查資料中顯示，大數(shù)據(jù)技術(shù)在未來信息架構(gòu)的分析發(fā)展中有著很大的優(yōu)勢，并且近年來已經(jīng)有不少領(lǐng)域開始引進大數(shù)據(jù)技術(shù)。大數(shù)據(jù)技術(shù)之所以被各個領(lǐng)域重視，是因為它能夠支持海量的且迥異的數(shù)據(jù)的存儲和計算，相對于傳統(tǒng)網(wǎng)絡(luò)安全分析技術(shù)來說，大數(shù)據(jù)技術(shù)使大量原始網(wǎng)絡(luò)信息數(shù)據(jù)的存儲和分析成為了可能；大數(shù)據(jù)技術(shù)對于傳統(tǒng)技術(shù)來說對網(wǎng)絡(luò)信息數(shù)據(jù)的存儲成本較低，并且大數(shù)據(jù)技術(shù)在普通硬件水平上的應(yīng)用沒有局限性，在信息數(shù)據(jù)的查詢過程中查詢速度又快、精度又高，從而提升了網(wǎng)絡(luò)安全分析中一些數(shù)據(jù)的挖掘能力，提升了網(wǎng)絡(luò)安全分析的深度和廣度[2]，并為大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用奠定了堅實的基礎(chǔ)。

1.3網(wǎng)絡(luò)安全分析中大數(shù)據(jù)技術(shù)應(yīng)用分析

在我們的日常生活中，我們每天都在和數(shù)據(jù)打交道，不是創(chuàng)造數(shù)據(jù)就是利用分析數(shù)據(jù)。比如在我們有手機電腦上的聊天軟件聊天時就是在創(chuàng)造信息數(shù)據(jù)，聊天過程中流量的消耗就是在應(yīng)用數(shù)據(jù)（對近年來網(wǎng)絡(luò)流量使用數(shù)據(jù)調(diào)查如表1），設(shè)想一下如果我們的聊天數(shù)據(jù)被竊取，是多們可怕危險的事情，再往大了去想就是國家機密數(shù)據(jù)，如果這些數(shù)據(jù)的丟失將會給整個國家?guī)砦ｋU，所以網(wǎng)絡(luò)安全分析是當(dāng)前網(wǎng)絡(luò)數(shù)據(jù)分析中相當(dāng)重要的一方面。目前網(wǎng)絡(luò)安全分析的主要數(shù)據(jù)就是流量和日志，但是由于這些數(shù)據(jù)的分散性和存儲有限性使得網(wǎng)絡(luò)安全預(yù)測存在漏洞，而大數(shù)據(jù)技術(shù)的引進則可以將分散的流量數(shù)據(jù)和日志數(shù)據(jù)集中到一起，利用大數(shù)據(jù)高效的采集和挖掘能力將采集到的數(shù)據(jù)存儲起來，然后再利用大數(shù)據(jù)技術(shù)對采集挖掘到的數(shù)據(jù)進行分析和檢索，對網(wǎng)絡(luò)安全中存在安全隱患的數(shù)據(jù)進行處理，不僅提高了網(wǎng)絡(luò)安全分析，也縮短了數(shù)據(jù)分析的時間，降低了信息丟失和泄露事件發(fā)生頻率，由傳統(tǒng)的被動防御變?yōu)榇髷?shù)據(jù)背景下主動地防御。

2大數(shù)據(jù)技術(shù)背景下網(wǎng)絡(luò)安全平臺的建設(shè)

2.1大數(shù)據(jù)背景下網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)

在網(wǎng)絡(luò)安全分析架構(gòu)建設(shè)中主要是由下向上建立數(shù)據(jù)采集層、數(shù)據(jù)存儲層、數(shù)據(jù)挖掘分析層、數(shù)據(jù)呈現(xiàn)層[3]等，由它們共同組成大數(shù)據(jù)技術(shù)的網(wǎng)絡(luò)安全分析架構(gòu)?；窘M成結(jié)構(gòu)如圖1。網(wǎng)絡(luò)安全分析架構(gòu)中的數(shù)據(jù)采集層能夠分布式的采集基于流、用戶身份信息、事件和威脅情報等多源異構(gòu)信息的收集；而大數(shù)據(jù)技術(shù)中的存儲層則能夠利用分布式文件系統(tǒng)長期大量的存儲龐大的信息數(shù)據(jù)，并能將數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化的方式的信息數(shù)同意存儲，并未將來數(shù)據(jù)的檢索提供了便利條件，而且還能保障所存儲數(shù)據(jù)的安全性和完整性；數(shù)據(jù)挖掘分析層能夠?qū)?shù)據(jù)進行關(guān)聯(lián)分析，提取數(shù)據(jù)的特征，通過這種方式可以實現(xiàn)安全事件的挖掘，并能夠很快地發(fā)現(xiàn)網(wǎng)絡(luò)異常的安全行為，并對存在安全隱患的數(shù)據(jù)進行追溯，然后將其定位，等待安全處理；數(shù)據(jù)呈現(xiàn)層能夠?qū)⒋髷?shù)據(jù)技術(shù)分析的結(jié)構(gòu)進行可視化處理，通過多種維度展現(xiàn)網(wǎng)絡(luò)安全的狀態(tài)。

2.2網(wǎng)絡(luò)安全平臺實現(xiàn)的技術(shù)支持闡述大數(shù)據(jù)采集技術(shù)。安全平臺主要利用大數(shù)據(jù)技術(shù)中的采集技術(shù)對海量的安全數(shù)據(jù)進行采集、整合、傳輸，該過程能夠使使用方在安全性較高，可靠性也較高的狀態(tài)下接收到源自不同范圍的數(shù)據(jù)，然后在對收集到的信息數(shù)據(jù)進行處理。大數(shù)據(jù)存儲技術(shù)。該技術(shù)主要是對采集過程中采集到的數(shù)據(jù)進行存儲，借助該技術(shù)的高吞吐量和高容錯性將采集到的大量數(shù)據(jù)存儲起來，以保障數(shù)據(jù)的安全性和完整性。大數(shù)據(jù)分析技術(shù)。在安全平臺中，該技術(shù)主要是完成數(shù)據(jù)的統(tǒng)計與分析工作，根據(jù)數(shù)據(jù)的結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化進行數(shù)據(jù)分析，然后建立分門別類的事件關(guān)系序列庫，將數(shù)據(jù)由簡單化轉(zhuǎn)向復(fù)雜化，然后在大量的信息數(shù)據(jù)中查找網(wǎng)絡(luò)安全的隱患，進而對安全隱患進行處理，保障網(wǎng)絡(luò)安全。

3結(jié)論

通過對大數(shù)據(jù)在網(wǎng)絡(luò)安全中的應(yīng)用分析和網(wǎng)絡(luò)安全平臺的建設(shè)知道，大數(shù)據(jù)技術(shù)在網(wǎng)絡(luò)安全分析中的應(yīng)用不僅可以降低網(wǎng)絡(luò)信息數(shù)據(jù)存儲的成本，也提高了數(shù)據(jù)庫的存儲容量，更為數(shù)據(jù)的追溯和檢索提供了很大的保障，相信在未來網(wǎng)絡(luò)安全分析中，大數(shù)據(jù)技術(shù)必然會成為技術(shù)的主導(dǎo)力量。

作者：賈衛(wèi) 單位：太原理工大學(xué)郵電中心

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)在電力企業(yè)信息報送的應(yīng)用

【摘要】信息是各級領(lǐng)導(dǎo)決策的重要依據(jù)，做好信息報送工作能有效支撐公司經(jīng)營決策。大數(shù)據(jù)理念與技術(shù)的出現(xiàn)，能夠在碎片化的海量數(shù)據(jù)中挖掘關(guān)鍵信息，也為信息報送與決策服務(wù)提供了新的理念與技術(shù)手段。以電網(wǎng)企業(yè)為例，闡述大數(shù)據(jù)在信息報送中的應(yīng)用原則，重點分析報送工作不同環(huán)節(jié)中應(yīng)用場景，包括選題識別、評價、規(guī)劃等重點應(yīng)用，提出詞頻分析、關(guān)鍵詞相關(guān)分析等算法模型，并為大型企業(yè)提升信息報送效率與質(zhì)量提出對策建議。

【關(guān)鍵詞】大數(shù)據(jù)；信息；電力企業(yè)；選題

引言

當(dāng)前世界政治經(jīng)濟格局深刻變化，我國經(jīng)濟發(fā)展“新常態(tài)”特征日益顯著，電力企業(yè)發(fā)展改革面臨更加復(fù)雜的外部環(huán)境，需要針對新形勢、新變化及時作出科學(xué)決策。信息是各級領(lǐng)導(dǎo)決策的重要依據(jù)，做好信息報送工作能有效支撐電力企業(yè)經(jīng)營決策。大數(shù)據(jù)理念與技術(shù)的出現(xiàn)，能夠在碎片化的海量數(shù)據(jù)中挖掘關(guān)鍵信息，也為信息報送與決策服務(wù)提供了新的理念與技術(shù)手段［1-5］。本文以電力企業(yè)及時決策、科學(xué)決策為需求導(dǎo)向，將數(shù)據(jù)跨界、關(guān)聯(lián)分析、動態(tài)預(yù)測等大數(shù)據(jù)理念與技術(shù)方法應(yīng)用到信息報送工作中，形成一套重要信息及時識別、收集、快速分析研判的技術(shù)支撐體系，提高信息選題、報送的精準性，提高數(shù)據(jù)向信息的轉(zhuǎn)化效率，提升信息在決策支撐中的價值［6-7］。

1傳統(tǒng)信息情報工作應(yīng)用現(xiàn)狀與發(fā)展趨勢

1.1傳統(tǒng)信息報送工作量與難度不斷提高由于信息報送的重要意義，對于工作開展的難度與要求相應(yīng)較高。一方面，電力企業(yè)信息工作者需要編輯處理的信息量特別大。每天擺在信息工作者案頭上的各種信息數(shù)以10萬字以上，特別在目前移動互聯(lián)網(wǎng)時代，信息工作者需要了解的信息源、信息渠道更為多樣，信息處理量、信息熱點更加點多面廣。目前信息報送工作每年需要處理的文字量達到150萬字到200萬字。另一方面，電力企業(yè)信息工作者需要整合多種信息的難度大。以組織編輯一篇《國家電網(wǎng)專報》為例，往往從策劃、查找材料到編寫需要搜集整合大量的信息，分析觀點與論據(jù)、梳理素材與線索的工作難度非常大，而目前這部分工作完全是通過人工完成的。1.2大數(shù)據(jù)手段提升信息報送工作勢在必行大數(shù)據(jù)時代，隨著互聯(lián)網(wǎng)的快速發(fā)展、新興技術(shù)的興起，音頻、文字、圖片、視頻、地理位置等半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)大量涌現(xiàn)，數(shù)據(jù)正以前所未有的速度在不斷的增長累積。借助大數(shù)據(jù)理念、方法，電力企業(yè)的信息報送將從注重處理結(jié)構(gòu)化數(shù)據(jù)的傳統(tǒng)信息管理模式，向多系統(tǒng)集成、多類數(shù)據(jù)實時收集、存儲使用的新模式轉(zhuǎn)變［8-9］。相關(guān)技術(shù)方法的執(zhí)行遵循以下原則。一是統(tǒng)籌規(guī)劃，增強協(xié)同：加大協(xié)作力度與廣度，提高信息工作的整體性與多元化；二是平臺統(tǒng)一，價值發(fā)現(xiàn)：以統(tǒng)一技術(shù)平臺支撐各專業(yè)領(lǐng)域大數(shù)據(jù)應(yīng)用，挖掘各類信息、數(shù)據(jù)中的價值；三是注重反饋，精益求精：增強信息報送工作中各層級、各專業(yè)的相互反饋，促進信息稿件質(zhì)量不斷提升；四是技術(shù)支撐，建用并重：加強對大數(shù)據(jù)相關(guān)技術(shù)模型的研發(fā)，邊開發(fā)邊應(yīng)用，重視成果實用實效［10］。

2主要應(yīng)用場景分析

2.1識別關(guān)鍵信息選題首先，將時事熱點、領(lǐng)導(dǎo)關(guān)注焦點、電力企業(yè)改革難點等不同維度的信息進行綜合分析與關(guān)聯(lián)分析，從領(lǐng)導(dǎo)講話、報告、互聯(lián)網(wǎng)輿情、文件、重要外部數(shù)據(jù)等不同渠道數(shù)據(jù)與資訊中識別關(guān)鍵信息，自動推送具有價值的信息選題。其次，結(jié)合外部指標(biāo)數(shù)據(jù)對電力企業(yè)經(jīng)營決策的傳導(dǎo)影響，提煉形成具有價值的信息選題，將不同信息選題經(jīng)過整理納入信息選題庫，為領(lǐng)導(dǎo)快速決策提供知識儲備。2.2構(gòu)建信息選題指數(shù)選題指數(shù)主要衡量選題的價值，主要考慮選題的熱度、關(guān)聯(lián)性、實效性等維度，為選題報送提供技術(shù)支撐。利用選題指數(shù)可提升信息選題的精準性，提供選題工作效率。具體功能包括4個方面：一是選題入庫，將各單位、部門上報的選題采集到信息報送工作數(shù)據(jù)庫中，便于歸檔管理；二是選題識別，運用大數(shù)據(jù)分詞技術(shù)，識別信息選題中的關(guān)鍵詞或關(guān)鍵事件；三是選題評價，主要以重視度、時效性、關(guān)聯(lián)性等維度，對信息選題進行綜合評價，形成選題指數(shù)供參考；四是選題提示，當(dāng)選題指數(shù)達到一定范圍，則在信息報送工作數(shù)據(jù)庫中自動推送給信息工作者，提示具有信息價值。其中選題指數(shù)評價主要考慮以下維度。一是關(guān)注度，事件及關(guān)聯(lián)事件中涉及的關(guān)注度級別。二是時效性評價，事件社會熱度分析以及時間點分析，社會熱度可借助互聯(lián)網(wǎng)指數(shù)分析社會大眾對事件的關(guān)注熱度；三是關(guān)聯(lián)性評價，通過互聯(lián)網(wǎng)大數(shù)據(jù)分析信息事件與其他事件的關(guān)聯(lián)度，并計算關(guān)聯(lián)性高事件的關(guān)注度與時效性。2.3支撐信息選題規(guī)劃將大數(shù)據(jù)應(yīng)用于電力企業(yè)信息工作，可支撐相關(guān)常態(tài)化工作的開展。這里主要從以下4個流程對信息選題規(guī)劃、計劃進行優(yōu)化，滿足信息供給與需求動態(tài)平衡。首先，信息稿件數(shù)量的規(guī)劃與計劃中，可借助電力企業(yè)信息報送工作數(shù)據(jù)庫，將已有的信息稿件，按信息領(lǐng)域、信息內(nèi)容、信息數(shù)量、批示情況等分布規(guī)律進行分類與聚類，結(jié)合信息報送工作人員的工作量，合理確定需求與能力相匹配的稿件預(yù)期數(shù)量。其次，信息內(nèi)容領(lǐng)域分布與設(shè)計中，可應(yīng)用大數(shù)據(jù)關(guān)鍵信息識別技術(shù)對熱點關(guān)注領(lǐng)域進行分析，如在電力、經(jīng)營管理、能源、公共政策中挖掘主題，綜合信息供應(yīng)能力與領(lǐng)導(dǎo)需求偏好特點，并將其作為一段時間內(nèi)電力企業(yè)信息報送工作的重點主題。最后，在信息報送工作組織管理方面，可利用大數(shù)據(jù)技術(shù)與應(yīng)用手段，加強信息資源的共享與互動，在電力企業(yè)集團內(nèi)構(gòu)建更加細化的情報網(wǎng)絡(luò)，及時將基層信息上報到企業(yè)總部。

3算法模型與技術(shù)平臺

為使上述應(yīng)用得到有效落實，需要在算法模型與技術(shù)平臺方面開展全面設(shè)計與研究。3.1分詞技術(shù)與詞頻統(tǒng)計分析模型該項技術(shù)主要應(yīng)用于對信息稿件進行關(guān)鍵詞提取與統(tǒng)計分析，適用于選題指數(shù)、報送指數(shù)、知識管理等場景。一是建立分句分詞，把信息文本由段落分成單獨句子，并利用自動分詞工具將句子分成若干詞；二是進行詞頻統(tǒng)計，計算每個詞出現(xiàn)的頻率；三是進行高頻詞與句子選擇，基于頻率選擇出最重要的或最有代表性的單詞，同時基于單詞頻率，可選出有代表的句子或段落。類詞匯，便于識別高頻詞匯，篩選重要關(guān)鍵詞。3.2關(guān)鍵詞相關(guān)分析模型關(guān)鍵詞相關(guān)分析模型主要應(yīng)用大數(shù)據(jù)技術(shù)，將海量的文章存儲到信息報送工作數(shù)據(jù)庫后，通過分析與關(guān)鍵詞具有聯(lián)系的詞匯出現(xiàn)頻率，從而判斷與關(guān)鍵詞具有相關(guān)性的詞匯。一是識別關(guān)鍵詞出現(xiàn)的頻率，即對應(yīng)文章的數(shù)量；二是判斷關(guān)鍵詞與哪些主題有聯(lián)系；三是判斷關(guān)鍵詞與這些相關(guān)主題聯(lián)系的強弱。主要借助工具：VOSviewer、SATI3、UCINET，需要將3個軟件進行綜合應(yīng)用。由圖4可知，該文章中與能源相關(guān)性較強的詞匯包括核能、天然氣、水資源、電力等詞，這些詞都應(yīng)作為分析其熱度、關(guān)注度的相關(guān)詞匯。3.3關(guān)鍵詞熱度分析模型利用互聯(lián)網(wǎng)大數(shù)據(jù)資源，對信息中的關(guān)鍵詞搜索頻率、搜索時間進行統(tǒng)計，得到一段時間內(nèi)關(guān)鍵詞的熱度。一是進行選題熱詞識別，主要將信息中的關(guān)鍵熱詞進行篩選與識別；二是進行熱度評價。熱度主要是通過互聯(lián)網(wǎng)大數(shù)據(jù)分析判斷得出。以內(nèi)參“人民幣進入SDR”為例分析關(guān)鍵詞“SDR”的熱度，通過對互聯(lián)網(wǎng)點擊數(shù)據(jù)的匯總與分析可發(fā)現(xiàn)，該選題在2015年12月1日附近熱度最高，11月28日以前以及12月3日以后則熱度驟減，可知11月29日至12月2日為該信息的最佳報送窗口，可為報送指數(shù)提供參考，也可將熱度值進行量化為選題指數(shù)提供數(shù)據(jù)支持。3.4信息統(tǒng)計分析方法利用信息報送工作數(shù)據(jù)庫，將所有信息按部門、類型、數(shù)量、主題、批示等不同字段進行統(tǒng)計，從而發(fā)現(xiàn)一定規(guī)律。一是按不同維度對信息進行分類統(tǒng)計，查找信息分布規(guī)律；二是對分析結(jié)果進行可視化展示；三是對分布規(guī)律進行顯著性檢驗，驗證結(jié)果的有效性。

4結(jié)束語

本文主要以需求為導(dǎo)向，緊密結(jié)合信息報送與決策服務(wù)中的熱點、難點構(gòu)建大數(shù)據(jù)在信息選題與報送中的應(yīng)用框架，并從數(shù)據(jù)源、數(shù)據(jù)分析、挖掘、平臺、管理支撐等方面建立一整套解決方案，以提高信息選題、報送的精準性，提高數(shù)據(jù)向信息的轉(zhuǎn)化效率，提升信息在決策支撐中的價值。具體建議如下：一是建立信息情報開發(fā)與利用機制，統(tǒng)籌管理信息收集、分析與規(guī)劃工作，在企業(yè)內(nèi)部各個單位、部門中建立協(xié)作收集與分析機制，并建立優(yōu)勢互補的收集管理體系，提升電力企業(yè)整體信息情報獲取與分析水平；二是建立跨部門信息協(xié)作的機制，建立分層、分級的管理制度與細則，建立信息保密制度，鼓勵信息工作人員使用信息資料、分享信息資料；三是以選題指數(shù)、報送指數(shù)為突破口開展大數(shù)據(jù)應(yīng)用的實施推廣工作。結(jié)合選題、報送指數(shù)的設(shè)計思路，以部分選題為例開展指數(shù)的權(quán)重設(shè)計與模型研發(fā)，為信息選題與報送工作提供技術(shù)支撐；四是要有保證信息資源實現(xiàn)暢通共享的相關(guān)技術(shù)體系，在科技項目與信息化項目投入方面，需要研發(fā)一系列大數(shù)據(jù)工具、方法與模型，為支撐信息報送工作提供豐富的技術(shù)手段，提高工作效率。

作者：王鵬 孫藝新 單位：國家電網(wǎng)公司 國網(wǎng)能源研究院

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)在電子政務(wù)的應(yīng)用

【摘要】科學(xué)技術(shù)的發(fā)展使社會生活和工作的方方面面發(fā)生了變化，尤其是在電子政務(wù)領(lǐng)域，大數(shù)據(jù)時代的來臨，使電子政務(wù)發(fā)展有了必然和可能，對大數(shù)據(jù)特點以及相關(guān)技術(shù)的研究，可以模擬出幾種大數(shù)據(jù)在電子政務(wù)中的應(yīng)用場景，大數(shù)據(jù)在以后的發(fā)展中還會有更為廣闊的空間，因此要使電子政府能夠更加高效、便捷，就需要在功能以及服務(wù)方面加以完善，打造出真正的現(xiàn)代化服務(wù)型政府。

【關(guān)鍵詞】大數(shù)據(jù)；技術(shù)；電子政務(wù)；應(yīng)用

隨著我國互聯(lián)網(wǎng)技術(shù)、云計算以及物聯(lián)網(wǎng)等方面的快速發(fā)展，政府的各項事物也向著大數(shù)據(jù)方向發(fā)展開來，對于大量的、復(fù)雜的信息需要在采集以及存儲和分析處理的過程中更加便捷的發(fā)揮作用，未來的政府決策等等也將以大數(shù)據(jù)信息來處理，改變了以往單單依靠經(jīng)驗和直覺對事物進行判斷的狀態(tài)?；诖?，本文對大數(shù)據(jù)技術(shù)在電子政務(wù)領(lǐng)域的應(yīng)用進行分析和研究。

1對大數(shù)據(jù)的相關(guān)研究

1．1大數(shù)據(jù)技術(shù)的主要特點

首先，能夠處理比較大的數(shù)據(jù)量。所謂大數(shù)據(jù)時代就是社會工作和生活中的每天的數(shù)據(jù)都會呈現(xiàn)增長的狀態(tài)，這樣如果用比較傳統(tǒng)的方式就沒有辦法妥善的處理，但是利用大數(shù)據(jù)技術(shù)能夠解決大量數(shù)據(jù)堆積的情況。其次，對不同類型的數(shù)據(jù)進行處理。大數(shù)據(jù)技術(shù)不僅僅對一些大量的、簡單的數(shù)據(jù)能夠進行處理，還能夠處理一些復(fù)雜的數(shù)據(jù)，例如，文本數(shù)據(jù)、聲音數(shù)據(jù)以及圖像數(shù)據(jù)等等。最后，數(shù)據(jù)處理的速度非?？?。大數(shù)據(jù)技術(shù)能夠處理紛繁的數(shù)據(jù)類型，還能夠高效的高速的完成數(shù)據(jù)的處理。另外，大數(shù)據(jù)技術(shù)的應(yīng)用具有密度低和價值大的效果。一些零散的，各種類型的數(shù)據(jù)，如果不能在短時間內(nèi)分析出來信息所表達的含義，那么可以利用大數(shù)據(jù)分析技術(shù)，將信息中潛藏的價值挖掘出來，以便于工作研究或者其他用途的使用，便于政務(wù)的便捷化和深層次化。

1．2大數(shù)據(jù)技術(shù)的介紹

大數(shù)據(jù)主要是對一些不能使用常規(guī)性軟件對其數(shù)據(jù)進行分析、處理和采集的一種數(shù)據(jù)的集合。而大數(shù)據(jù)技術(shù)則是對各種規(guī)模比較大的數(shù)據(jù)進行信息的獲取，這種技術(shù)包含大數(shù)據(jù)的挖掘技術(shù)、分布式數(shù)據(jù)庫以及分布式軟件系統(tǒng)的集合和云計算處理。大數(shù)據(jù)的整體技術(shù)需要從以下幾點出發(fā)進行研究:首先，數(shù)據(jù)的采集。大數(shù)據(jù)技術(shù)可以在采集數(shù)據(jù)的基礎(chǔ)上進行責(zé)任的異構(gòu)，在分布式的數(shù)據(jù)源中進行數(shù)據(jù)的抽取和采集，然后再經(jīng)過篩選、轉(zhuǎn)換以及集成，加載到相應(yīng)的數(shù)據(jù)庫中，為政務(wù)數(shù)據(jù)挖據(jù)和分析打下堅實的基礎(chǔ)［1］。其次，數(shù)據(jù)的存取。數(shù)據(jù)的存取過程是對關(guān)系數(shù)據(jù)庫以及非結(jié)構(gòu)性數(shù)據(jù)量中的數(shù)據(jù)進行的存取，其中包含SQL、NOSQL等等。再次，基礎(chǔ)架構(gòu)以及數(shù)據(jù)處理。在基礎(chǔ)架構(gòu)的過程中，通過云計算的架構(gòu)能夠進行云儲存的搭載，并且儲存分布式元件等等。數(shù)據(jù)的處理主要是對數(shù)據(jù)進行加工和處理，其中包含了對原始數(shù)據(jù)的整理和計算，編輯與分析等等。最后，數(shù)據(jù)的統(tǒng)計和挖掘。通過聚類分析、卡方分析以及距離等分析上，可以對數(shù)據(jù)進行統(tǒng)計分析，另外，其他常見的方法還有對應(yīng)分析和多元分析。數(shù)據(jù)的挖掘技術(shù)主要是對在現(xiàn)有數(shù)據(jù)當(dāng)中對一些圖形文件、視頻文件和音頻文件等等通過數(shù)據(jù)挖掘技術(shù)使用的各種算法進行的計算。這樣的計算所起到的作用是對未來進行全面的效果預(yù)測，以此實現(xiàn)高級別數(shù)據(jù)的分析需求，在數(shù)據(jù)挖據(jù)技術(shù)的使用過程中，需要有分類、預(yù)估以及相關(guān)性的描述和聚類等等，使用的開放工具是mahout等。

2大數(shù)據(jù)在政務(wù)工作中的應(yīng)用

2．1使用大數(shù)據(jù)技術(shù)對政府網(wǎng)站進行大數(shù)據(jù)的分析

通過大數(shù)據(jù)技術(shù)能夠在各個省市以及縣級政府的網(wǎng)站中，抽取用戶經(jīng)常訪問的界面，然后對用戶在界面上停留的時間，瀏覽的內(nèi)容、瀏覽的時間等進行交互信息的獲得，由此對用戶的需求做出簡要地分析。在大數(shù)據(jù)使用的基礎(chǔ)上，可以根據(jù)用戶對政府網(wǎng)站的需要，進而達到優(yōu)化網(wǎng)站的目的，基本從網(wǎng)站的頁面、網(wǎng)站的欄目中以及網(wǎng)站的功能上進行服務(wù)優(yōu)勢和缺陷的分析，這樣不僅可以提升網(wǎng)站的響應(yīng)能力還能夠?qū)⒄囊恍┬畔⒓皶r的推動到用戶的手中，通過政府網(wǎng)站日志集成的辦法處理各種數(shù)據(jù)的集成，進而成為政府領(lǐng)導(dǎo)為城市以后的發(fā)展和謀劃提供較為科學(xué)的依據(jù)，讓科學(xué)決策擁有強大的技術(shù)支持。

2．2大數(shù)據(jù)技術(shù)在政務(wù)工作中的信用平臺建設(shè)

使用大數(shù)據(jù)技術(shù)可以將政府各個職能部門或者法人以及個人的信息資源利用起來，以此最大化的推動政府規(guī)范誠信機構(gòu)的建設(shè)，建立起個人的信用信息使用平臺，讓個人信用在大數(shù)據(jù)背景下建設(shè)成完善的體系和模式，以此為社會工作和社會生活提供一些較為準確的、及時的、有效的個人誠信信息，促進政府個人信用信息的開發(fā)和利用，為了建設(shè)誠信地社會奠定一個較為完善的和堅實的基礎(chǔ)。例如，在調(diào)查某政府部門中職員的信用信息時，就可以利用這個方法獲得。

2．3電子政務(wù)方面大數(shù)據(jù)交換共享平臺的構(gòu)建

利用大數(shù)據(jù)技術(shù)，可以為政府建立起電子政務(wù)大數(shù)據(jù)信息的共享和交換平臺，并且通過這種方法將政府各個辦公室以及社會群體所收集到的信息進行分類和篩選，通過對比和分析以后，建設(shè)成為有自然人、法人以及空間地理集合的基礎(chǔ)性數(shù)據(jù)庫，以此做到強化信息資源使用，通過信息資源整合形成的政務(wù)信息資源。在大數(shù)據(jù)的基礎(chǔ)上，所形成的交換以及共享平臺可以實現(xiàn)政府各個部門之間的橫向和縱向的信息集合，然后，在跨地區(qū)、跨政府的條件下也可以進行業(yè)務(wù)方面的交流和溝通，促進業(yè)務(wù)協(xié)同的開展。依托于這種信息共享和交換平臺，可以制定出信息資源共享的統(tǒng)一目錄以及標(biāo)準，進而產(chǎn)生社會政務(wù)的開放性數(shù)據(jù)，有利于促進社會資源的有效開發(fā)和利用，為政府之間跨層次的交流提供保障，也為社會的公共服務(wù)和社會的公共管理和宏觀調(diào)控提供了一定的數(shù)據(jù)支撐。

2．4大數(shù)據(jù)下電子政務(wù)決策系統(tǒng)的應(yīng)用

在大數(shù)據(jù)技術(shù)的支持下，因為有比較強大的信息數(shù)據(jù)存儲能力和較為突出的信息數(shù)據(jù)挖掘能力，并且信息的分析處理的作用力也非常強，這樣政府就可以從各個部門所收集的海量數(shù)據(jù)中提取出一些有用的信息進行分析和處理，以此提升政府的決策力度，提升決策的精準性和科學(xué)性，讓政府在一些社會工作的預(yù)警能力上有突出的表現(xiàn)，起到解決決策成本以及促進城市管理的目的，可以在交通的智能化管理上、環(huán)境問題的檢測上提供更加準確的，共決策使用的數(shù)據(jù)。

3結(jié)語

綜上所述，本文對大數(shù)據(jù)時代政務(wù)工作的有效開展進行了分析和研究，主要指出了大數(shù)據(jù)的特點、基本的優(yōu)勢以及大數(shù)據(jù)技術(shù)在政務(wù)工作中的具體應(yīng)用等等。今天是信息科學(xué)技術(shù)的時代，每一個人，每一個單位都需要重視科學(xué)技術(shù)的作用，讓信息和大數(shù)據(jù)能夠為人們所用，在提升勞動生產(chǎn)效率方面發(fā)揮積極的作用，逐步的推進我國大數(shù)據(jù)在電子政府領(lǐng)域的建設(shè)，為打造智能型，服務(wù)型政府而做出努力。

作者：潘濤 單位：鄂州職業(yè)大學(xué)

大數(shù)據(jù)應(yīng)用論文:大數(shù)據(jù)技術(shù)在石油行業(yè)信息化的應(yīng)用

摘要：運用大數(shù)據(jù)技術(shù)實現(xiàn)對現(xiàn)代石油行業(yè)信息化的管理，成為了現(xiàn)代石油行業(yè)信息化管理發(fā)展的重點，而大數(shù)據(jù)技術(shù)在企業(yè)中的實際應(yīng)用，主要集中體現(xiàn)在新型云計算服務(wù)的應(yīng)用上。在企業(yè)信息資源的優(yōu)化調(diào)整中，通過對業(yè)務(wù)的需求分析并運用大數(shù)據(jù)技術(shù)，提供契合度最高的信息服務(wù)資源。以云計算技術(shù)作為主要突破口來探究現(xiàn)代石油行業(yè)在發(fā)展中的主要動向。

關(guān)鍵詞：大數(shù)據(jù)技術(shù)；石油行業(yè)；信息化；云計算

作者簡介：郭瑞（1986-），男，助理工程師，本科；李健（1987-），男，助理工程師，本科；田立鋒（1984-），男，助理工程師，本科

伴隨著現(xiàn)代社會的飛速發(fā)展，大數(shù)據(jù)技術(shù)已經(jīng)成為了石油石化行業(yè)信息化管理的重要手段。在大數(shù)據(jù)技術(shù)的管理與發(fā)展中，云計算技術(shù)的使用成為了軟硬件資源管理的主要集中體現(xiàn)的區(qū)域。而云計算領(lǐng)域的涉及也逐步地讓人們了解到大數(shù)據(jù)應(yīng)用技術(shù)的便捷性。下面針對大數(shù)據(jù)技術(shù)在石油行業(yè)信息化中應(yīng)用的具體實踐情況進行簡要論述。

1云計算技術(shù)

什么是云計算技術(shù)呢？可以理解為在網(wǎng)絡(luò)配套設(shè)施的使用中，集中資源地統(tǒng)一化管理分配，從而使用戶通過協(xié)同合作來完成企業(yè)、個人的信息服務(wù)。其主要的核心技術(shù)集中體現(xiàn)在虛擬化技術(shù)、數(shù)據(jù)存儲技術(shù)和并行計算技術(shù)3個方面。虛擬化技術(shù)：是對服務(wù)的一種虛擬化，將更多的服務(wù)資源進行統(tǒng)一管理后，實現(xiàn)多個虛擬服務(wù)器共同服務(wù)的效果。這樣對于用戶所需要服務(wù)資源能夠進行一個更高效的支配管理，同時在數(shù)據(jù)處理和桌面系統(tǒng)運行上，也能夠?qū)崿F(xiàn)的服務(wù)資源利用的最大化。數(shù)據(jù)存儲技術(shù)：這一技術(shù)屬于云計算的存儲技術(shù)，利用分布式的信息系統(tǒng)，完成對計算機集群的整合管理，通過有效設(shè)置實現(xiàn)對更加龐大的類型數(shù)據(jù)進行存儲的目標(biāo)。在運行中主要依據(jù)于軟件的集合工作，從而達到內(nèi)外部的業(yè)務(wù)數(shù)據(jù)訪問的目的。從目前的數(shù)據(jù)存儲技術(shù)來看，主要有Google文件系統(tǒng)（GFS）和Hadoop分布式文件系統(tǒng)（HDFS）兩種技術(shù)來供應(yīng)實際的使用。并行計算：是指同時使用多種計算資源解決計算問題的過程，是提高計算機系統(tǒng)計算速度和處理能力的一種有效手段。這種計算方法，能夠極大地提高計算的資源的處理速度。通過化整為零的方式實現(xiàn)一個問題分步解決，從而解決大型而復(fù)雜的計算問題。

2信息化運行現(xiàn)狀和發(fā)展趨勢

伴隨著我國經(jīng)濟的迅速發(fā)展，石油行業(yè)也得到了全面的發(fā)展，在管理上也逐漸地意識到信息化改革的重要性。在實施的石油行業(yè)管理中，通過對傳統(tǒng)模式的改革，逐步地實現(xiàn)了向信息化、數(shù)字化轉(zhuǎn)變的目標(biāo)。通過對企業(yè)信息資源的有效性管理，并結(jié)合現(xiàn)有的管理模式，更加有效地提高了企業(yè)資源的利用率。下面對傳統(tǒng)管理模式和信息化管理模式的優(yōu)缺點進行對比。信息檢索速率的改革：傳統(tǒng)的信息管理會面臨巨大的信息檢索工作，即便是在現(xiàn)代的企事業(yè)單位高效率軟硬件工作環(huán)境下，信息傳輸速率也都會出現(xiàn)瓶頸。而大數(shù)據(jù)技術(shù)的信息檢索管理則會有效地改善此類問題，從而更加便捷地將生產(chǎn)、維護、運行中所出現(xiàn)的信息資料統(tǒng)一進行提取備份分析，通過高效的算法以及軟硬件資源的里配置，迅速地篩選出所需要的一系列信息資源，從而實現(xiàn)對信息速率的極速提升。通過這樣的信息技術(shù)應(yīng)用，極大地提高了企業(yè)部門的系統(tǒng)管理工作的效率，加速了企業(yè)管理的信息化市場應(yīng)用改革的進程。產(chǎn)品全生命周期管理的改革：傳統(tǒng)的產(chǎn)品生命周期較為復(fù)雜和繁瑣，通過可研、立項、設(shè)計、施工、運行、維護監(jiān)測等多個階段測試后，方可進行投產(chǎn)使用。而設(shè)計期間以及施工期間的信息檢索以及采集處理需求量較大，導(dǎo)致資源消耗也過大，極大地增加的生產(chǎn)周期的負擔(dān)與運營成本。而大數(shù)據(jù)技術(shù)中的信息模擬仿真技術(shù)就是解決此類問題的有效方法，它能夠合理地利用和分配現(xiàn)有資源，精準地檢索出所需資料，并高效地進行數(shù)據(jù)處理。同時通過虛擬的模擬演算，實現(xiàn)對數(shù)據(jù)準確性的校驗與檢測，最終達到縮短工期的目的，為生產(chǎn)提供了更高的生產(chǎn)安全保障。行業(yè)信息的展示方面：傳統(tǒng)的信息管理方法，主要通過紙質(zhì)文件的形式來進行展示存在諸多的不便。而通過現(xiàn)代大數(shù)據(jù)技術(shù)的信息化管理，能夠更加直接地將信息展現(xiàn)在人們的視野之下，使用戶獲得全方位立體式的信息展示，從而使信息更容易被用戶解讀，也讓用戶更有興趣去了解所展示的信息。

3云計算技術(shù)的實際應(yīng)用

云計算技術(shù)在石油行業(yè)信息化中的提供的服務(wù)與架構(gòu)如

3．1數(shù)字化油田的空間數(shù)據(jù)庫構(gòu)架

利用大數(shù)據(jù)技術(shù)的超強數(shù)據(jù)存儲能力和虛擬化技術(shù)構(gòu)建一個更加完善和全面的油田空間數(shù)據(jù)結(jié)構(gòu)，通過等比例尺的多維度數(shù)據(jù)監(jiān)控管理，配合虛擬化技術(shù)提供的資源與服務(wù)，實現(xiàn)在地理信息數(shù)據(jù)上的有效調(diào)度與管控。

3．2建立數(shù)字油田的標(biāo)準體系

數(shù)字油田雖然已經(jīng)經(jīng)過多年的建設(shè)和發(fā)展，但是數(shù)字油田標(biāo)準化體系一直處于滯后的狀態(tài)，成為制約數(shù)字油田進一步發(fā)展的關(guān)鍵因素。建立數(shù)字油田的首要任務(wù)是制定有關(guān)數(shù)字油田建設(shè)項目管理類標(biāo)準規(guī)范、軟件開發(fā)及運行維護通用標(biāo)準規(guī)范、數(shù)據(jù)建設(shè)類標(biāo)準規(guī)范。其中總體設(shè)計還會涉及到基礎(chǔ)信息分類編碼規(guī)范和適用于勘探開發(fā)應(yīng)用系統(tǒng)建設(shè)的具體標(biāo)準規(guī)范。數(shù)字油田標(biāo)準化體系的建立會對工程項目管理、信息基礎(chǔ)設(shè)施、數(shù)據(jù)及交換、信息安全、信息系統(tǒng)建設(shè)、系統(tǒng)運維服務(wù)等多個方面提供最佳的數(shù)字化信息服務(wù)。

3．3建立企業(yè)數(shù)據(jù)倉庫

隨著數(shù)據(jù)容量與數(shù)據(jù)類型在過去幾十年里的大幅增長，傳統(tǒng)的數(shù)據(jù)存儲模式已經(jīng)無法負荷日益增長的數(shù)據(jù)量，而數(shù)據(jù)倉庫技術(shù)的出現(xiàn)與發(fā)展?jié)M足了數(shù)據(jù)存儲與分析的這兩類龐大的需求，從而徹底改變了數(shù)據(jù)集成的前景。在建立數(shù)據(jù)倉庫的技術(shù)方法中，企業(yè)中所有數(shù)據(jù)首先會根據(jù)數(shù)據(jù)類型進行分類，也會考慮到數(shù)據(jù)本身的性質(zhì)及其相關(guān)的處理需求。數(shù)據(jù)處理過程將會用到內(nèi)置在處理邏輯中并且整合到一系列編程流程中的業(yè)務(wù)規(guī)則，數(shù)據(jù)處理會使用到企業(yè)元數(shù)據(jù)、主數(shù)據(jù)管理（MDM）和語義技術(shù)等。數(shù)據(jù)倉庫技術(shù)可以高效利用當(dāng)前及未來的數(shù)據(jù)架構(gòu)和分類方法，保持處理邏輯的靈活性，使它能夠在不同的物理基礎(chǔ)架構(gòu)組件上發(fā)揮作用，從而提高企業(yè)的信息化管理的效率。

3．4大規(guī)模數(shù)據(jù)的并行處理與計算

現(xiàn)有并行程序設(shè)計算法需要考慮數(shù)據(jù)的存儲管理、任務(wù)劃分與調(diào)度執(zhí)行、同步與通信、災(zāi)備恢復(fù)處理等幾乎所有技術(shù)細節(jié)，且非常繁瑣。為了進一步提升并行計算程序的自動化并行處理能力，應(yīng)該盡量減少對很多系統(tǒng)底層技術(shù)細節(jié)的考慮，從底層細節(jié)中徹底解放出來，從而更專注于應(yīng)用問題本身的計算和算法實現(xiàn)。目前已發(fā)展出多種具有自動化并行處理能力的計算軟件框架，如GoogleMapReduce和HadoopMapReduce并行計算軟件框架，以及近年來出現(xiàn)的以內(nèi)存計算為基礎(chǔ)、能提供多種大數(shù)據(jù)計算模式的Spark系統(tǒng)等。并行計算的性能評估是通過加速比來體現(xiàn)性能提升的，這里所提到的加速比是指并行程序的并行執(zhí)行速度相對于其串行程序執(zhí)行速度加速了多少倍。這個指標(biāo)貫穿于整個并行計算技術(shù)，是并行計算技術(shù)的核心。從應(yīng)用角度出發(fā)，不論是開發(fā)還是使用，企業(yè)都希望隨著處理能力的提升，并行計算程序的執(zhí)行速度也需要有相應(yīng)的提升，從而完成大規(guī)模數(shù)據(jù)的并行處理與計算。

4結(jié)語

隨著現(xiàn)代信息化技術(shù)的不斷發(fā)展，已經(jīng)逐步地實現(xiàn)全面的信息化改造建設(shè)。而對于作為社會生產(chǎn)命脈的石油石化行業(yè)，利用大數(shù)據(jù)技術(shù)實現(xiàn)其信息化的管理與發(fā)展，已經(jīng)成為了一種趨勢。在本次的論述中，針對于傳統(tǒng)的信息管理策略與現(xiàn)階段的社會生產(chǎn)模式進行了對比分析與研究，通過對現(xiàn)有問題的探究與認知，進一步證明了大數(shù)據(jù)技術(shù)具有更加便捷高效的特點。倘若要在石油行業(yè)的全面信息化建設(shè)中大力發(fā)展大數(shù)據(jù)技術(shù)的管理，仍需要進行不斷的更新與調(diào)整，只有做好各個方面適應(yīng)性改造，才能夠?qū)崿F(xiàn)對工程管理技術(shù)上的重大科技突破。

作者：郭瑞 李健 田立鋒 單位：海洋石油工程股份有限公司