時(shí)間:2022-04-14 11:56:48
序論:在您撰寫大數(shù)據(jù)技術(shù)論文時(shí),參考他人的優(yōu)秀作品可以開闊視野,小編為您整理的7篇范文,希望這些建議能夠激發(fā)您的創(chuàng)作熱情,引導(dǎo)您走向新的創(chuàng)作高度。
1.1大數(shù)據(jù)的發(fā)展
通過對大數(shù)據(jù)的匯集、智能分析和挖掘技術(shù),發(fā)現(xiàn)數(shù)據(jù)中的潛在價(jià)值信息,幫助人們做出正確決策,這就是大數(shù)據(jù)產(chǎn)業(yè)的利益。國外大數(shù)據(jù)的起步比較早,比較成功的大數(shù)據(jù)應(yīng)用案例有:商業(yè)龍頭沃爾瑪公司通過對消費(fèi)者的購物數(shù)據(jù)進(jìn)行分析,了解顧客的行為喜好,對超市的商品結(jié)構(gòu)進(jìn)行搭配重置以增加銷售額;亞馬遜公司通過大數(shù)據(jù)構(gòu)建自己的推薦系統(tǒng),每年可以靠此多收益20%;奧巴馬通過大數(shù)據(jù)分析系統(tǒng)進(jìn)行數(shù)據(jù)挖掘,用科學(xué)的手段獲取選票、募集資金,贏得了總統(tǒng)競選的勝利。相比于國外,國內(nèi)的大數(shù)據(jù)研究和應(yīng)用還處于起步和發(fā)展中的階段,比較成功的案例有:淘寶數(shù)據(jù)魔方平臺,通過大數(shù)據(jù),為買家量身打造完善的購物體驗(yàn)產(chǎn)品;新浪微博大數(shù)據(jù)產(chǎn)品,通過大量的社交數(shù)據(jù),創(chuàng)造不同的社會經(jīng)濟(jì)價(jià)值等。
1.2云計(jì)算的發(fā)展
云計(jì)算可以像電力資源一樣提供彈性的按需服務(wù),事實(shí)上它是集合了一系列的服務(wù)提供給用戶。云計(jì)算的核心可分為三個(gè)層次,分別為基礎(chǔ)設(shè)施層、平臺層、應(yīng)用層,如圖2所示。云計(jì)算將基礎(chǔ)設(shè)施、軟件運(yùn)行環(huán)境、應(yīng)用程序抽象成服務(wù),具有可靠性高、可用性強(qiáng)、規(guī)??缮炜s等特點(diǎn),滿足了不同企業(yè)的發(fā)展需求,各個(gè)云服務(wù)提供商根據(jù)各自服務(wù)對象的差別分別開發(fā)了各具特色的云服務(wù)。(1)基礎(chǔ)設(shè)施即服務(wù)層基礎(chǔ)設(shè)施即服務(wù)(InfrastructureasaService,IaaS)層通過部署硬件基礎(chǔ)設(shè)施對外提供服務(wù),用戶可以根據(jù)各自的需求購買虛擬或?qū)嶓w的計(jì)算、存儲、網(wǎng)絡(luò)等資源。用戶可以在購買的空間內(nèi)部署和運(yùn)行軟件,包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不能管理或控制任何云計(jì)算基礎(chǔ)設(shè)施,但能控制操作系統(tǒng)的選擇、存儲空間、部署的應(yīng)用,也有可能獲得有限制的網(wǎng)絡(luò)組件(如防火墻、負(fù)載均衡器等)的控制。云服務(wù)提供商為了使硬件資源得到更有效的利用,引入了Xen、KVM、VMware等虛擬化技術(shù),使得云服務(wù)商可以提供更個(gè)性化的IaaS服務(wù)。亞馬遜彈性云計(jì)算(AmazonElasticComputeCloud,AmazonEC2)是亞馬遜Web服務(wù)產(chǎn)品之一,AmazonEC2利用其全球性的數(shù)據(jù)中心網(wǎng)絡(luò),為客戶提供虛擬主機(jī)服務(wù),讓使用者可以租用云服務(wù)運(yùn)行所需應(yīng)用的系統(tǒng)。(2)平臺即服務(wù)層平臺即服務(wù)(PlatformasaService,PaaS)層是指云計(jì)算應(yīng)用程序開發(fā)和部署的平臺,包括應(yīng)用設(shè)計(jì)、應(yīng)用開發(fā)、應(yīng)用測試和應(yīng)用托管,都作為一種服務(wù)提供給客戶。開發(fā)者只需要上傳代碼和數(shù)據(jù)就可以使用云服務(wù),而無需關(guān)注底層的具體實(shí)現(xiàn)方式和管理模式。鑒于PaaS平臺的重要意義,國內(nèi)外廠商根據(jù)各自的戰(zhàn)略提出了相應(yīng)的PaaS平臺,國外的如GoogleAppEngine(GAE),通過GAE,即使在重載和數(shù)據(jù)量極大的情況下,也可以輕松構(gòu)建能安全運(yùn)行的應(yīng)用程序。國內(nèi)也有新浪的SAE(SinaAppEngine)、阿里的ACE(AliyunCloudEnginee)等。(3)軟件即服務(wù)層軟件即服務(wù)(SoftasaService,SaaS)層是為云計(jì)算終端用戶提供基于互聯(lián)網(wǎng)軟件應(yīng)用服務(wù)的平臺。隨著Web服務(wù)、HTML5、AJAX、Mashup等技術(shù)的成熟與標(biāo)準(zhǔn)化,SaaS應(yīng)用近年來發(fā)展迅速,典型的SaaS應(yīng)用包括GoogleApps、SalesforceCRM等。國外云計(jì)算平臺比較成功的應(yīng)用案例有:亞馬遜電子商務(wù)網(wǎng)站根據(jù)用戶的購買行為和搜索技術(shù)搭建Hadoop集群,構(gòu)建推薦系統(tǒng);Twitter社交網(wǎng)站搭建Hadoop分布式系統(tǒng)用于用戶關(guān)聯(lián)的建立。國內(nèi)云計(jì)算平臺的成功案例有:阿里巴巴目前整個(gè)集群達(dá)到1700個(gè)節(jié)點(diǎn),數(shù)據(jù)容量達(dá)到24.3PB,并且以每天255TB的速率不斷攀升;2013年,華為推出國內(nèi)首個(gè)運(yùn)營云平臺,目前為止與該平臺簽訂協(xié)議的ISV有3000多家。
1.3云計(jì)算相關(guān)技術(shù)
(1)分布式文件系統(tǒng)分布式文件系統(tǒng)(GoogleFileSystem,GFS)[3]是Google公司針對云計(jì)算過程處理海量數(shù)據(jù)而專門設(shè)計(jì)的。一個(gè)GFS集群由一個(gè)主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)組成,用戶可以通過客戶端訪問文件系統(tǒng),進(jìn)行正常的文件處理工作。在云計(jì)算中,海量數(shù)據(jù)文件被分割成多個(gè)固定大小的數(shù)據(jù)塊,這些數(shù)據(jù)塊被自動分配到不同的從節(jié)點(diǎn)存儲,并會在多個(gè)節(jié)點(diǎn)進(jìn)行備份存儲,以免數(shù)據(jù)丟失。主服務(wù)器管理文件系統(tǒng)記錄文件的各種屬性,包括文件名、訪問控制權(quán)限、文件存儲塊映射、塊物理信息等數(shù)據(jù)。正是通過這個(gè)表,文件系統(tǒng)可以準(zhǔn)確地找到文件存儲的位置,避免數(shù)據(jù)丟失,保證數(shù)據(jù)安全。圖3是GFS的體系結(jié)構(gòu)示意,每一個(gè)節(jié)點(diǎn)都是普通的Linux服務(wù)器,GFS的工作就是協(xié)調(diào)成百上千的服務(wù)器為各種應(yīng)用提供服務(wù)。(2)分布式并行數(shù)據(jù)庫BigTableBigTable[4]是一個(gè)為管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲系統(tǒng),可以擴(kuò)展到PB級數(shù)據(jù)和上千臺服務(wù)器。很多Google的項(xiàng)目使用BigTable存儲數(shù)據(jù),這些應(yīng)用對BigTable提出了不同的挑戰(zhàn),比如對數(shù)據(jù)規(guī)模的要求、對時(shí)延的要求。BigTable能滿足這些多變的要求,為這些產(chǎn)品成功地提供了靈活、高性能的存儲解決方案。BigTable采用的鍵是三維的,分別是行鍵(RowKey)、列鍵(ColumnKey)和時(shí)間戳(Timestamp)。行鍵和列鍵都是字節(jié)串,時(shí)間戳是64位整型;值是一個(gè)字節(jié)串,可以用(row:string,column:string,time:int64)string來表示一條鍵值對記錄。(3)分布式計(jì)算框架MapReduceMapReduce[5]是Google公司提出的大數(shù)據(jù)技術(shù)計(jì)算框架,被廣泛應(yīng)用于數(shù)據(jù)挖掘、海量數(shù)據(jù)處理以及機(jī)器學(xué)習(xí)等領(lǐng)域,由于其并行化處理數(shù)據(jù)的強(qiáng)大能力,越來越多的廠商根據(jù)MapReduce思想開發(fā)了各自的云計(jì)算平臺,其中以Apache公司的Hadoop最為典型。MapReduce由Map和Reduce兩個(gè)階段組成。用戶只需要編寫簡單的map()和reduce()函數(shù)就可以完成復(fù)雜分布式程序設(shè)計(jì),而不用了解計(jì)算框架的底層實(shí)現(xiàn)。MapReduce的數(shù)據(jù)分析流程如圖4所示。分布在不同服務(wù)器節(jié)點(diǎn)上的海量數(shù)據(jù)首先通過split()函數(shù)被拆分成Key/Value鍵值對,map()函數(shù)以該鍵值對為輸入,將該鍵值對進(jìn)行函數(shù)處理,產(chǎn)生一系列的中間結(jié)果并存入磁盤。MapReduce的中間過程shuffle()將所有具有相同Key值的鍵值對傳遞給Reduce環(huán)節(jié),Reduce會收集中間結(jié)果,并將相同的Value值合并,完成所有工作后將結(jié)果輸出給用戶。MapReduce是一個(gè)并行的計(jì)算框架,主要體現(xiàn)在不同的服務(wù)器節(jié)點(diǎn)同時(shí)啟動相同的工作,并且在每個(gè)獨(dú)立的服務(wù)器節(jié)點(diǎn)上又可以啟動多個(gè)map()、reduce()并行計(jì)算。
2基于云計(jì)算的大數(shù)據(jù)處理
目前大數(shù)據(jù)處理的基本流程如圖5所示,整個(gè)流程經(jīng)過數(shù)據(jù)源的采集,用不同的方式進(jìn)行處理和加工,形成標(biāo)準(zhǔn)的格式,存儲下來;然后用合適的數(shù)據(jù)計(jì)算處理方式將數(shù)據(jù)推送到數(shù)據(jù)分析和挖掘平臺,通過有效的數(shù)據(jù)分析和挖掘手段,找出大數(shù)據(jù)中有價(jià)值的信息;最后通過可視化技術(shù)將信息展現(xiàn)給人們。
2.1數(shù)據(jù)采集存儲
大數(shù)據(jù)具有不同結(jié)構(gòu)的數(shù)據(jù)(包括結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)),針對不同類型的數(shù)據(jù),在進(jìn)行云計(jì)算的分布采集時(shí),需要選擇不同的數(shù)據(jù)采集方式收集數(shù)據(jù),這也是大數(shù)據(jù)處理中最基礎(chǔ)的一步。采集到的數(shù)據(jù)并不是都適合推送到后面的平臺,需要對其進(jìn)一步處理,例如來源不同的數(shù)據(jù),需要對其進(jìn)行加載合并;數(shù)據(jù)存在噪聲或者干擾點(diǎn)的,需要對其進(jìn)行“清洗”和“去噪”等操作,從而保障數(shù)據(jù)的有效性;數(shù)據(jù)的格式或者量綱不統(tǒng)一的,需要對其進(jìn)行標(biāo)準(zhǔn)化等轉(zhuǎn)換處理;最后處理生成的數(shù)據(jù),通過特定的數(shù)據(jù)庫,如NoSQL數(shù)據(jù)(Google的BigTable,Amazon的Dynamo)進(jìn)行存儲,方便進(jìn)行下一步的數(shù)據(jù)讀取。由于傳統(tǒng)的數(shù)據(jù)倉庫無法適應(yīng)大數(shù)據(jù)的存儲要求,目前基于云計(jì)算的數(shù)據(jù)倉庫都是采用列式存儲。列式存儲的數(shù)據(jù)具有相同的數(shù)據(jù)類型,可以大大提高數(shù)據(jù)的壓縮率,例如華為的云存儲服務(wù)MOS(MassiveObjectService)的數(shù)據(jù)持久性高達(dá)99.9%,同時(shí)提供高效率的端到端保障。
2.2數(shù)據(jù)計(jì)算模式
這一環(huán)節(jié)需要根據(jù)處理的數(shù)據(jù)類型和既定目標(biāo),選擇合適的計(jì)算模型處理數(shù)據(jù)。由于數(shù)據(jù)量的龐大,會消耗大量的計(jì)算資源,因此,傳統(tǒng)的計(jì)算技術(shù)很難使用大數(shù)據(jù)的環(huán)境條件,取而代之的是分而治之的分布式計(jì)算模式,具有代表性的幾種計(jì)算模式的特點(diǎn)見表1。采用批處理方式計(jì)算的Hadoop平臺,例如,F(xiàn)acebook擁有全球最大規(guī)模的Hadoop集群,集群機(jī)器目前超過3000臺,CPU核心更是超過30000個(gè),可以存儲的數(shù)據(jù)量能夠達(dá)到驚人的40PB;采用流處理方式計(jì)算的Storm平臺分布式計(jì)算的時(shí)延比Hadoop更?。粚?shí)時(shí)處理方式計(jì)算的Spark是一種基于內(nèi)存的計(jì)算模式,例如,Yahoo運(yùn)用Spark技術(shù)在廣告營銷中實(shí)時(shí)尋找目標(biāo)用戶,目前在Yahoo部署的Spark集群有112臺節(jié)點(diǎn)和9.2TB內(nèi)存;交互處理方式計(jì)算的Dremel在處理PB級別的數(shù)據(jù)時(shí)耗時(shí)可以縮短至秒級,并且無需大量的并發(fā)。
2.3數(shù)據(jù)分析挖掘
數(shù)據(jù)分析挖掘環(huán)節(jié)是從海量數(shù)據(jù)中發(fā)現(xiàn)隱藏規(guī)律和有價(jià)值信息的過程,這個(gè)環(huán)節(jié)是大數(shù)據(jù)處理流程最為有價(jià)值和核心的部分,傳統(tǒng)的數(shù)據(jù)分析方法有機(jī)器學(xué)習(xí)、商業(yè)智能等。傳統(tǒng)的數(shù)據(jù)挖掘十大算法[6](其中有K-Means、Na觙veBayes、SVM、EM、Apriori等)在云計(jì)算環(huán)境下都得到了大幅度的并行優(yōu)化,在大數(shù)據(jù)的背景下,計(jì)算速度得到了很大程度的提升?,F(xiàn)在新興的深度學(xué)習(xí)是原始機(jī)器學(xué)習(xí)的一個(gè)新領(lǐng)域,動機(jī)是在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),它模仿人腦的機(jī)制來解釋數(shù)據(jù),這種新的數(shù)據(jù)分析挖掘技術(shù)已經(jīng)在計(jì)算機(jī)視覺、語音識別、自然語言處理等領(lǐng)域有了成功的應(yīng)用。
2.4數(shù)據(jù)解釋展現(xiàn)
將挖掘出來的復(fù)雜信息進(jìn)行數(shù)據(jù)解釋和展現(xiàn)是整個(gè)大數(shù)據(jù)處理流程的最后一個(gè)環(huán)節(jié),數(shù)據(jù)分析的結(jié)果需要向客戶進(jìn)行恰當(dāng)?shù)恼宫F(xiàn)。與傳統(tǒng)的數(shù)據(jù)輸出和文本展示等方式不同,現(xiàn)在絕大部分的企業(yè)都通過引進(jìn)“數(shù)據(jù)可視化”技術(shù)來展示大數(shù)據(jù)分析的結(jié)果信息,這種方式以圖像、動畫等方式,形象地向客戶展現(xiàn)數(shù)據(jù)處理分析的結(jié)果,也容易被客戶理解和接受,更為先進(jìn)的是,現(xiàn)在逐步形成的“交互式可視化技術(shù)”,大大地方便了數(shù)據(jù)與人之間的“親密交流”。目前面向大數(shù)據(jù)主流應(yīng)用的可視化技術(shù)見表2。
3大數(shù)據(jù)和云計(jì)算的未來挑戰(zhàn)
大數(shù)據(jù)需要超大存儲容量的計(jì)算能力,云計(jì)算作為一種新的計(jì)算模式,為大數(shù)據(jù)的應(yīng)用研究提供了技術(shù)支持,大數(shù)據(jù)和云計(jì)算的完美結(jié)合,相得益彰,發(fā)揮了各自的最大優(yōu)勢,為社會創(chuàng)造了巨大的價(jià)值。雖然國內(nèi)大數(shù)據(jù)和云計(jì)算的研究還是處于初步階段,但隨著研究的不斷進(jìn)行,所面臨的問題也越來越多。在大數(shù)據(jù)向前不斷邁進(jìn)的階段里,如何讓我們對大數(shù)據(jù)的研究朝著有利于全人類的方向發(fā)展成為了重中之重。
3.1重要戰(zhàn)略資源
在這個(gè)信息社會里,大數(shù)據(jù)將會成為眾多企業(yè)甚至是國家層面的重要戰(zhàn)略資源。國家層面要將大數(shù)據(jù)上升為國家戰(zhàn)略。奧巴馬在2012年3月將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策,像陸權(quán)、海權(quán)、空權(quán)一樣,將數(shù)據(jù)的占有和控制作為重要的國家核心能力。大數(shù)據(jù)資源也會成為各種機(jī)構(gòu)和企業(yè)的重要資產(chǎn)以及提升企業(yè)社會競爭力的有力武器。在大數(shù)據(jù)市場里,客戶的各種數(shù)據(jù)信息都會為企業(yè)創(chuàng)造價(jià)值,也會在促進(jìn)消費(fèi)水平、提高廣告效應(yīng)等方面扮演重要的角色。
3.2數(shù)據(jù)隱私安全
大數(shù)據(jù)如果運(yùn)用得當(dāng),可以有效地幫助相關(guān)領(lǐng)域做出幫助和決策,但若這些數(shù)據(jù)被泄露和竊取,隨之而來的將是個(gè)人信息及財(cái)產(chǎn)的安全問題得不到保障。2011年索尼公司遭到黑客攻擊,造成一億份客戶資料泄露,經(jīng)濟(jì)虧損約1.71億美元。為了解決大數(shù)據(jù)的數(shù)據(jù)隱私安全問題,Roy等在2010年提出了一種隱私保護(hù)系統(tǒng),將信息流控制和差分隱私保護(hù)技術(shù)融入到云計(jì)算平臺中,防止MapReduce計(jì)算過程中的數(shù)據(jù)泄露問題。在數(shù)據(jù)更新飛速的情況下,如何維護(hù)數(shù)據(jù)的隱私安全成為大數(shù)據(jù)時(shí)代研究的重點(diǎn)方向。
3.3智慧城市
人口的增長給城市交通、醫(yī)療、建筑等各方面帶來了不小的壓力,智慧城市就是依靠大數(shù)據(jù)和云計(jì)算技術(shù),實(shí)現(xiàn)城市高效的管理、便捷的民生服務(wù)、可持續(xù)的產(chǎn)業(yè)發(fā)展。在剛剛結(jié)束的“兩會”的政府工作報(bào)告中,總理也特意強(qiáng)調(diào)了智慧城市發(fā)展的重要性,目前國家智慧城市試點(diǎn)已遍布全國各地,多達(dá)409個(gè)。智慧安防、智慧交通、智慧醫(yī)療等都是智慧城市應(yīng)用領(lǐng)域。智慧城市的建設(shè)也趨使大數(shù)據(jù)人才的培養(yǎng)。據(jù)預(yù)測,到2015年,大數(shù)據(jù)將會出現(xiàn)約100萬的人才缺口,全球?qū)⑿略?40萬個(gè)與大數(shù)據(jù)相關(guān)的工作崗位來填補(bǔ)這個(gè)空缺。
3.4能源消耗
大數(shù)據(jù)背景下的機(jī)器算法
專業(yè)
計(jì)算機(jī)科學(xué)與技術(shù)
學(xué)生姓名
楊宇瀟
學(xué)號
181719251864
一、 選題的背景、研究現(xiàn)狀與意義
為什么大數(shù)據(jù)分析很重要?大數(shù)據(jù)分析可幫助組織利用其數(shù)據(jù)并使用它來識別新的機(jī)會。反過來,這將導(dǎo)致更明智的業(yè)務(wù)移動,更有效的運(yùn)營,更高的利潤和更快樂的客戶。
在許多早期的互聯(lián)網(wǎng)和技術(shù)公司的支持下,大數(shù)據(jù)在2000年代初的數(shù)據(jù)熱潮期間出現(xiàn)。有史以來第一次,軟件和硬件功能是消費(fèi)者產(chǎn)生的大量非結(jié)構(gòu)化信息。搜索引擎,移動設(shè)備和工業(yè)機(jī)械等新技術(shù)可提供公司可以處理并持續(xù)增長的數(shù)據(jù)。隨著可以收集的天文數(shù)據(jù)數(shù)量的增長,很明顯,傳統(tǒng)數(shù)據(jù)技術(shù)(例如數(shù)據(jù)倉庫和關(guān)系數(shù)據(jù)庫)不適合與大量非結(jié)構(gòu)化數(shù)據(jù)一起使用。 Apache軟件基金會啟動了第一個(gè)大數(shù)據(jù)創(chuàng)新項(xiàng)目。最重要的貢獻(xiàn)來自Google,Yahoo,F(xiàn)acebook,IBM,Academia等。最常用的引擎是:ApacheHive / Hadoop是復(fù)雜數(shù)據(jù)準(zhǔn)備和ETL的旗艦,可以為許多數(shù)據(jù)存儲或分析環(huán)境提供信息以進(jìn)行深入分析。 Apache Spark(由加州大學(xué)伯克利分校開發(fā))通常用于大容量計(jì)算任務(wù)。這些任務(wù)通常是批處理ETL和ML工作負(fù)載,但與Apache Kafka等技術(shù)結(jié)合使用。
隨著數(shù)據(jù)呈指數(shù)級增長,企業(yè)必須不斷擴(kuò)展其基礎(chǔ)架構(gòu)以最大化其數(shù)據(jù)的經(jīng)濟(jì)價(jià)值。在大數(shù)據(jù)的早期(大約2008年),Hadoop被大公司首次認(rèn)可時(shí),維護(hù)有用的生產(chǎn)系統(tǒng)非常昂貴且效率低下。要使用大數(shù)據(jù),您還需要適當(dāng)?shù)娜藛T和軟件技能,以及用于處理數(shù)據(jù)和查詢速度的硬件。協(xié)調(diào)所有內(nèi)容同時(shí)運(yùn)行是一項(xiàng)艱巨的任務(wù),許多大數(shù)據(jù)項(xiàng)目都將失敗。如今,云計(jì)算已成為市場瞬息萬變的趨勢。因?yàn)楦鞣N規(guī)模的公司都可以通過單擊幾下立即訪問復(fù)雜的基礎(chǔ)架構(gòu)和技術(shù)。在這里,云提供了強(qiáng)大的基礎(chǔ)架構(gòu),使企業(yè)能夠勝過現(xiàn)有系統(tǒng)。
二、 擬研究的主要內(nèi)容(提綱)和預(yù)期目標(biāo)
隨著行業(yè)中數(shù)據(jù)量的爆炸性增長,大數(shù)據(jù)的概念越來越受到關(guān)注。 由于大數(shù)據(jù)的大,復(fù)雜和快速變化的性質(zhì),許多用于小數(shù)據(jù)的傳統(tǒng)機(jī)器學(xué)習(xí)算法不再適用于大數(shù)據(jù)環(huán)境中的應(yīng)用程序問題。 因此,在大數(shù)據(jù)環(huán)境下研究機(jī)器學(xué)習(xí)算法已成為學(xué)術(shù)界和業(yè)界的普遍關(guān)注。 本文主要討論和總結(jié)用于處理大數(shù)據(jù)的機(jī)器學(xué)習(xí)算法的研究現(xiàn)狀。 另外,由于并行處理是處理大數(shù)據(jù)的主要方法,因此我們介紹了一些并行算法,介紹了大數(shù)據(jù)環(huán)境中機(jī)器學(xué)習(xí)研究所面臨的問題,最后介紹了機(jī)器學(xué)習(xí)的研究趨勢,我們的目標(biāo)就是研究數(shù)據(jù)量大的情況下算法和模型的關(guān)系,同時(shí)也會探討大部分細(xì)分行業(yè)數(shù)據(jù)量不大不小的情況下算法的關(guān)系。
三、 擬采用的研究方法(思路、技術(shù)路線、可行性分析論證等)
1.視覺分析。大數(shù)據(jù)分析用戶包括大數(shù)據(jù)分析專業(yè)人士和一般用戶,但是大數(shù)據(jù)分析的最基本要求是視覺分析。視覺分析直觀地介紹了大數(shù)據(jù)的特征,并像閱讀照片的讀者一樣容易接受。 2.數(shù)據(jù)挖掘算法。大數(shù)據(jù)分析的理論中心是數(shù)據(jù)挖掘算法。不同的數(shù)據(jù)挖掘算法依賴于不同的數(shù)據(jù)類型和格式來更科學(xué)地表征數(shù)據(jù)本身。由于它們被全世界的統(tǒng)計(jì)學(xué)家所公認(rèn),因此各種統(tǒng)計(jì)方法(稱為真值)可以深入到數(shù)據(jù)中并挖掘公認(rèn)的值。另一方面是這些數(shù)據(jù)挖掘算法可以更快地處理大數(shù)據(jù)。如果該算法需要花費(fèi)幾年時(shí)間才能得出結(jié)論,那么大數(shù)據(jù)的價(jià)值是未知的。 3.預(yù)測分析。大數(shù)據(jù)分析的最后一個(gè)應(yīng)用領(lǐng)域是預(yù)測分析,發(fā)現(xiàn)大數(shù)據(jù)功能,科學(xué)地建立模型以及通過模型吸收新數(shù)據(jù)以預(yù)測未來數(shù)據(jù)。 4.語義引擎。非結(jié)構(gòu)化數(shù)據(jù)的多樣化為數(shù)據(jù)分析提出了新的挑戰(zhàn)。您需要一套工具來分析和調(diào)整數(shù)據(jù)。語義引擎必須設(shè)計(jì)有足夠的人工智能,以主動從數(shù)據(jù)中提取信息。 5.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。大數(shù)據(jù)分析是數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理的組成部分。高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理確保了分析結(jié)果在學(xué)術(shù)研究和商業(yè)應(yīng)用中的可靠性和價(jià)值。大數(shù)據(jù)分析的基礎(chǔ)是前五個(gè)方面。當(dāng)然,如果您更深入地研究大數(shù)據(jù)分析,則還有更多特征,更深入,更專業(yè)的大數(shù)據(jù)分析方法。
四、 論文(設(shè)計(jì))的工作進(jìn)度安排
2020.03.18-2020.03.20 明確論文內(nèi)容,進(jìn)行相關(guān)論文資料的查找與翻譯。2020.04.04-2020.04.27:撰寫開題報(bào)告 。
2020.04.28-2020.04.30 :設(shè)計(jì)實(shí)驗(yàn)。
2020.05.01-2020.05.07 :開展實(shí)驗(yàn)。
2020.05.08-2020.05.15 :準(zhǔn)備中期檢查。
2020.05.16-2020.05.23:根據(jù)中期檢查的問題,進(jìn)一步完善實(shí)驗(yàn)2020.05.24-2020.05.28 :完成論文初稿。
2020.05.29-2020.06.26 :論文修改完善。
五、 參考文獻(xiàn)(不少于5篇)
1 . 王偉,王珊,杜小勇,覃雄派,王會舉.大數(shù)據(jù)分析——rdbms與mapreduce的競爭與共生 .計(jì)算機(jī)光盤軟件與應(yīng)用,2012.被引量:273.
2 . 喻國明. 大數(shù)據(jù)分析下的中國社會輿情:總體態(tài)勢與結(jié)構(gòu)性特征——基于百度熱搜詞(2009—2 012)的輿情模型構(gòu)建.中國人民大學(xué)學(xué)報(bào),2013.被引量:9. 3 . 李廣建,化柏林.大數(shù)據(jù)分析與情報(bào)分析關(guān)系辨析.中國圖書館學(xué)報(bào),2014.被引量:16.
4 . 王智,于戈,郭朝鵬,張一川,宋杰.大數(shù)據(jù)分析的分布式molap技術(shù) .軟件學(xué)報(bào),2014.被引量:6.
5 . 王德文,孫志偉.電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測 .中國電機(jī)工程學(xué)報(bào),2015.被引量:19.
6 . 江秀臣,杜修明,嚴(yán)英杰,盛戈皞,陳玉峰 ,郭志紅.基于大數(shù)據(jù)分析的輸變電設(shè)備狀態(tài)數(shù)據(jù)異常檢測方法 .中國電機(jī)工程學(xué)報(bào),2015.被引量:8.
7 . 喻國明. 呼喚“社會最大公約數(shù)”:2012年社會輿情運(yùn)行態(tài)勢研究——基于百度熱搜詞的大 數(shù)據(jù)分析.編輯之友,2013.被引量:4.
六、指導(dǎo)教師意見
簽字: 年 月 日
七、學(xué)院院長意見及簽字
統(tǒng)計(jì)與大數(shù)據(jù)系按照教務(wù)處“2021屆畢業(yè)生實(shí)習(xí)及畢業(yè)論文(設(shè)計(jì))相關(guān)事宜通知”,結(jié)合2018級人才培養(yǎng)方案,制定2021屆學(xué)生畢業(yè)論文(設(shè)計(jì))指導(dǎo)方案,具體內(nèi)容包括以下6部分:
一、2021屆畢業(yè)論文指導(dǎo)教師分配表(詳見附件1)
二、 畢業(yè)論文寫作與指導(dǎo)的具體安排
論文輔導(dǎo)時(shí)間:2020年10月1日至2021年4月1日
具體安排:
工作安排
具體內(nèi)容
具體要求
截止時(shí)間
選題
確定論文題目
根據(jù)自己的專業(yè)、結(jié)合實(shí)習(xí)情況,以項(xiàng)目為基礎(chǔ)選擇論文題目,并經(jīng)指導(dǎo)教師審核通過。
2021年1月1日
提綱
構(gòu)思論文結(jié)構(gòu)、擬訂論文提綱
結(jié)合企業(yè)實(shí)踐內(nèi)容確定論文結(jié)構(gòu)列出提綱。
2021年2月1日
寫作與批改
初稿
按照論文提綱撰寫初稿,主動與論文指導(dǎo)老師聯(lián)系審核與批改。
2021年3月1日
二稿
按照論文指導(dǎo)老師的要求反復(fù)修改、完善、補(bǔ)充。
2021年4月1日
定稿
達(dá)到論文基本要求,定稿電子版發(fā)給論文指導(dǎo)老師。
2021年4月10日
交稿
打印提交
雙面打印,畢業(yè)返校時(shí)以班級為單位提交。
2021年6月
三、 指導(dǎo)教師聯(lián)系方式
姓名
職稱
郵箱
電話
方黨生
副教授
2541790217@qq.com
2541790217
15136166829
楊冬梅
講師
339097597@qq.com
339097597
18625779090
李春花
講師
19772728@qq.com
19772728
18638793098
魏瑤
講師
43665723@qq.com
43665723
15838313791
馬杰
高級講師
Hnhymj@126.com
13838067063
杜旭陽
助理講師
604696049@qq.com
604696049
17396370961
高艷云
副教授
37742562@qq.com
37742562
13939020929
錢鈺
講師
397019111@qq.com
397019111
15093132377
梁慧丹
助理講師
1620280267@qq.com
1620280267
15188395423
秦航琪
助理講師
1191084277@qq.com
1191084277
15670930099
范迪
助理講師
1261810070@qq.com
1261810070
18339270887
四、畢業(yè)論文參考題目
大數(shù)據(jù)技術(shù)及應(yīng)用專業(yè)
1) 大數(shù)據(jù)時(shí)代下的網(wǎng)絡(luò)信息安全
2) 大數(shù)據(jù)對市場調(diào)查技術(shù)與研究方法的影響
3) 大數(shù)據(jù)環(huán)境下社會輿情分析方法研究
4) 大數(shù)據(jù)在房屋租賃的應(yīng)用
5) 大數(shù)據(jù)在互聯(lián)網(wǎng)金融領(lǐng)域的應(yīng)用
6) 大數(shù)據(jù)在電子商務(wù)下的應(yīng)用
7) 大數(shù)據(jù)時(shí)代下線上餐飲變革
8) 大數(shù)據(jù)在養(yǎng)殖業(yè)中的應(yīng)用
9) 大數(shù)據(jù)對商業(yè)模式影響
10) 大數(shù)據(jù)在智能交通中的應(yīng)用
11) 基于大數(shù)據(jù)小微金融
12) 大數(shù)據(jù)在農(nóng)副產(chǎn)品中的應(yīng)用
13) 大數(shù)據(jù)在用戶行為分析中的應(yīng)用
14) 基于大數(shù)據(jù)的會員價(jià)值分析
15) 大數(shù)據(jù)對教育模式的影響
物聯(lián)網(wǎng)應(yīng)用技術(shù)專業(yè)
1)物聯(lián)網(wǎng)技術(shù)在蔬菜大棚中的應(yīng)用
2)物聯(lián)網(wǎng)技術(shù)對智能家居的應(yīng)用
3) 物聯(lián)網(wǎng)技術(shù)對智能物流監(jiān)管的應(yīng)用
4) 物聯(lián)網(wǎng)技術(shù)在企業(yè)的應(yīng)用
5) 計(jì)算機(jī)物聯(lián)網(wǎng)技術(shù)帶來的影響
6) 物聯(lián)網(wǎng)技術(shù)在校園安全的應(yīng)用
7) 淺談物聯(lián)網(wǎng)技術(shù)的應(yīng)用與發(fā)展
8) 物聯(lián)網(wǎng)技術(shù)在企業(yè)的應(yīng)用
9) 計(jì)算機(jī)物聯(lián)網(wǎng)技術(shù)在各個(gè)行業(yè)的應(yīng)用
10) 物聯(lián)網(wǎng)技術(shù)在食品安全追溯方面的應(yīng)用
11)物聯(lián)網(wǎng)技術(shù)在樓宇智能化系統(tǒng)的應(yīng)用
12)物聯(lián)網(wǎng)技術(shù)在智能停車場系統(tǒng)的應(yīng)用
13)物聯(lián)網(wǎng)技術(shù)在安保行業(yè)的應(yīng)用
14)物聯(lián)網(wǎng)技術(shù)在智能交通行業(yè)的應(yīng)用
15)基于物聯(lián)網(wǎng)技術(shù)的校園宿舍安防系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)
信息統(tǒng)計(jì)與分析專業(yè)
1) 某企業(yè)競爭力調(diào)查分析
2) 淺談企業(yè)統(tǒng)計(jì)數(shù)據(jù)質(zhì)量
3) 人口素質(zhì)與經(jīng)濟(jì)增長的關(guān)系研究
4) 地區(qū)競爭力初步分析
5) 農(nóng)業(yè)結(jié)構(gòu)調(diào)整與糧食安全保證問題研究
6) 我國中小企業(yè)發(fā)展現(xiàn)狀與對策
7) 對某市房地產(chǎn)開發(fā)的市場分析
8) 消費(fèi)者購買動機(jī)調(diào)查分析
9) 某產(chǎn)品市場需求調(diào)查
10) 某產(chǎn)品銷售預(yù)測
11) 某產(chǎn)品銷售統(tǒng)計(jì)分析
12) 某產(chǎn)品競爭力分析
13) 產(chǎn)業(yè)結(jié)構(gòu)變動分析
14) 大數(shù)據(jù)發(fā)展對統(tǒng)計(jì)工作的影響分析
15) 鄭州租房狀況分析
五、畢業(yè)論文(設(shè)計(jì))格式規(guī)范要求(詳見附件2)
六、畢業(yè)論文(設(shè)計(jì))格式模板(詳見附件3)
附件1:2021屆畢業(yè)論文指導(dǎo)教師分配表
附件2
河南信息統(tǒng)計(jì)職業(yè)學(xué)院
畢業(yè)論文格式及規(guī)范要求
河南信息統(tǒng)計(jì)職業(yè)學(xué)院畢業(yè)論文(設(shè)計(jì))統(tǒng)一的規(guī)格要求如下:
(一)開本
A4白紙(210mm×297mm)
(二)裝訂
長邊左側(cè)裝訂
(三)全文編置
1.頁碼
全文頁碼自正文起編列,正文與附錄可連續(xù)編碼。頁碼以阿拉伯?dāng)?shù)字左右加圓點(diǎn)標(biāo)示,置頁邊下腳中間。
2.邊距
正文至附錄的文字版面規(guī)范為:天頭25mm;地腳25mm;左邊距30mm;右邊距25mm。上述邊距的允許誤差均為±1mm。
3.行字間距
正文至附錄的行字間距按5mm設(shè)置;字間距為1mm,或由Word自動默認(rèn)。
(四)編排構(gòu)成
1.前置部分
(1)封面設(shè)置
第一排:“河南信息統(tǒng)計(jì)職業(yè)學(xué)院”,華文行楷一號字,居中排列,第一排前空兩行(三號字);
第二排:“畢業(yè)論文(設(shè)計(jì))”,黑體一號字,居中排列;
第三排:“ 級 專業(yè) 班”, 黑體三號字,居中排列,橫線空格處填寫相應(yīng)內(nèi)容,填寫內(nèi)容使用宋體三號字,與第二排空二行(三號字);
第四排:“題目 ” 黑體三號字,居中排列,“題目”兩字中間留兩個(gè)漢字的空位,橫線空格處填寫相應(yīng)內(nèi)容,填寫內(nèi)容使用宋體三號字,與第三排空六行(三號字);
第五排:“姓名 學(xué)號 ”, 黑體三號字,居中排列,“姓名“兩字中間留兩個(gè)漢字的空位,橫線空格處填寫相應(yīng)內(nèi)容,填寫內(nèi)容使用宋體三號字;
第六排:“指導(dǎo)教師 職稱 ”, 黑體三號字,居中排列,橫線空格處填寫相應(yīng)內(nèi)容,填寫內(nèi)容使用宋體三號字;
第七排:“系別 ” 黑體三號字,居中排列,橫線空格處填寫相應(yīng)內(nèi)容,填寫內(nèi)容使用宋體三號字,與第六排空兩行(三號字)。
第八排:“ 年 月 日” 黑體三號字,居中排列,橫線空格處填寫相應(yīng)內(nèi)容,填寫內(nèi)容使用宋體三號字,與第七排空兩行(三號字)。
(2)聲明
本人必須聲明所呈交的論文是學(xué)生本人在導(dǎo)師的指導(dǎo)下獨(dú)立完成的。除了文別加以標(biāo)注和致謝的地方外,論文中不包含其他人已經(jīng)發(fā)表或撰寫的研究成果。要求學(xué)生本人簽名。
(3)內(nèi)容提要
第二頁為內(nèi)容提要。內(nèi)容提要是對全文基本觀點(diǎn)的集中提煉和說明。提要中應(yīng)闡明本論文(設(shè)計(jì))要解決的主要問題及其依據(jù),并指出創(chuàng)新之處。內(nèi)容提要以300-500字為宜。其中“內(nèi)容提要”為黑體三號字,每字間空一格,居中排列。“內(nèi)容提要”下空一行編排具體內(nèi)容,具體內(nèi)容按照中文文章格式排列,使用宋體四號字。
(3)關(guān)鍵詞
關(guān)鍵詞是揭示文獻(xiàn)主體信息的詞匯。關(guān)鍵詞在內(nèi)容提要之后空一行設(shè)置。其中“關(guān)鍵詞”三字用黑體三號字與“內(nèi)容提要”對應(yīng)居中排列,而后另起行設(shè)置關(guān)鍵詞3-5個(gè),用宋體四號字。各詞匯間不用標(biāo)點(diǎn)符號分隔,空一格漢字字符。
(4)目錄頁
“目錄”二字用三號加黑宋居中排列,字間空三格;“目錄”下空一行排全文的主要標(biāo)題,用四號仿宋體。對目錄中的每一個(gè)標(biāo)題都要標(biāo)注頁碼。
2.正文部分
一部完整的畢業(yè)論文(設(shè)計(jì))正文部分一般應(yīng)由以下要素構(gòu)成:論文正文文字;結(jié)論;注釋;參考文獻(xiàn)。
(1)正文文字
論文(設(shè)計(jì))的正文文字在署名后空一行排列,用四號仿宋字體打印。
(2)結(jié)論
畢業(yè)設(shè)計(jì)的體會和總結(jié);該設(shè)計(jì)的結(jié)論、優(yōu)點(diǎn)及有待探討的問題。
(3)注釋
注釋是用于對文內(nèi)某一特定內(nèi)容作必要的解釋或文字說明。注釋的內(nèi)容置于與當(dāng)前頁主題文字的分線以下,以帶圓圈的阿拉伯?dāng)?shù)字標(biāo)示,左空二格排列,用小五號宋體字。
(4)參考文獻(xiàn)
參考文獻(xiàn)是作者著文時(shí)研究和參閱的相關(guān)資料。“參考文獻(xiàn)”四個(gè)字用三號黑體字左頂格標(biāo)示。參考文獻(xiàn)的內(nèi)容置于主體文字之后空一行排列,其順序與主體文字中的序號編排相對應(yīng),以帶方括號的阿拉伯?dāng)?shù)字左頂格用五號宋體字排出全部內(nèi)容。參考文獻(xiàn)要列出書名,作者姓名、出版社及出版日期、并標(biāo)明序號。在論文中引用所列的參考文獻(xiàn)時(shí),只要在方括號內(nèi)注明所列文獻(xiàn)的序號即可。
(5)畢業(yè)論文(設(shè)計(jì))正文部分3000~5000字。
附件3
河南信息統(tǒng)計(jì)職業(yè)學(xué)院
畢業(yè)論文(設(shè)計(jì))
級 專業(yè) 班
題 目
姓 名 學(xué)號
指導(dǎo)教師 職稱
系 別
20 年 月 日
聲 明
本人鄭重聲明所呈交的論文(設(shè)計(jì))是我個(gè)人在導(dǎo)師的指導(dǎo)下獨(dú)立完成的。除了文別加以標(biāo)注和致謝的地方外,論文中不包含其他人已經(jīng)發(fā)表或撰寫的研究成果。
論文作者簽名:
20 年 月
日
內(nèi) 容 提 要
××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××
關(guān)鍵詞 :××××× ××××× ××××× ×××××
目 錄 1 前言 1
1.1 1
1.2 1
1.3 4
1.4 4
2 5
2.1 5
2.2 5
2.2.1 5
2.2.2 6
2.3 7
3 8
3.1 9
3.2 10
4 11
4.1 12
4.1.1 13
4.1.2 14
4.1.3 15
4.1.4 18
4.1.5 20
5 結(jié)論 22
5.1 結(jié)論 23
5.2 問題與不足 26
5.3 未來展望 27
參考文獻(xiàn) 28
1 ×××××××××××××××× 1.1 ×××××××××× ××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××
1.2 ×××××××××××××××× 1.2.1 ×××××××× ××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××××
參考文獻(xiàn) [1] 江正榮編.地基與基礎(chǔ)施工手冊.北京:中國建筑工業(yè)出版社,1997
[2] 高大釗主編.土力學(xué)與基礎(chǔ)工程.北京:中國建筑工業(yè)出版社,1998
………………………………………………………………………………………………………………………………………………………………………………
[8] 趙玉良.房屋地基基礎(chǔ)變形事故原因分析及處理.河北建筑工程學(xué)院學(xué)報(bào),2007,25(2)
[9] 袁迎曙,賈福萍,蔡躍. 銹蝕鋼筋混凝土梁的結(jié)構(gòu)性能退化模型[J].土木工程學(xué)報(bào),2001,(3)
[10] A. Castel, R. Francois, G.Arliguie. Mechanical Behavior of Reinforced Concrete Beams-Part 2: Bond andNotch Effects[J]. Materials and Structures. 2000, (3)
…………………………………………………………………………………………………………………………………………………………………………………………
[12] 中華人民共和國國家標(biāo)準(zhǔn).建筑地基基礎(chǔ)設(shè)計(jì)規(guī)范(GB50007-2002)
[13] 中華人民共和國國家標(biāo)準(zhǔn).建筑邊坡工程技術(shù)規(guī)范(GB50330-2002).
論文(設(shè)計(jì))指導(dǎo)評語
建議論文成績 指導(dǎo)教師
20 年 月 日
論文(設(shè)計(jì))答辯評語
論文成績 答辯組組長
20 年 月 日
答 辯 組 成 員
姓 名
性別
年齡
職稱
工作單位
(一)云會計(jì)使庫存管理的成本更低
廉庫存管理的目標(biāo)之一是在保證生產(chǎn)或銷售經(jīng)營需要的前提下最大限度地降低庫存成本,即對庫存合理布局,減少調(diào)撥次數(shù)。存貨不足不能及時(shí)滿足生產(chǎn)和銷售的需要會給企業(yè)帶來損失,而存貨過多將導(dǎo)致儲存成本增加,進(jìn)而影響企業(yè)利益。如何對庫存管理的成本進(jìn)行控制對企業(yè)的生產(chǎn)經(jīng)營至關(guān)重要。以物聯(lián)網(wǎng)技術(shù)為前端、大數(shù)據(jù)分析中心為后端的云會計(jì)平臺,能夠在時(shí)空分離的環(huán)境下預(yù)測或獲取企業(yè)不同區(qū)域的倉儲信息和客戶訂貨信息,以減少企業(yè)的庫存管理成本?;谠茣?jì)平臺,企業(yè)能夠搜集、分析貨物的實(shí)時(shí)信息,動態(tài)了解各倉庫的實(shí)時(shí)庫存情況。倉儲管理部門在獲得大數(shù)據(jù)分析中心提供的庫存數(shù)據(jù)與客戶偏好數(shù)據(jù)的基礎(chǔ)上,能夠做到對各倉庫庫存合理布局,減少調(diào)撥次數(shù),節(jié)約庫存管理成本。
(二)云會計(jì)使存貨控制系統(tǒng)更精確
為提高企業(yè)整體運(yùn)作效率,很多企業(yè)對存貨管理采用了ABC控制系統(tǒng)或即時(shí)制庫存控制系統(tǒng)(JIT)。在ABC控制系統(tǒng)中,如何準(zhǔn)確區(qū)分ABC三類存貨并進(jìn)行分類控制是企業(yè)需要解決的重要問題。JIT管理強(qiáng)調(diào)只在使用存貨之前才要求供應(yīng)商送貨,從而將存貨數(shù)量減到最小,實(shí)現(xiàn)物資供應(yīng)、生產(chǎn)、銷售連續(xù)同步運(yùn)動。這種方式在提高生產(chǎn)效率、減少儲存成本的同時(shí)需要考慮到與供應(yīng)商協(xié)同接洽的問題。大數(shù)據(jù)、云會計(jì)技術(shù)的應(yīng)用,能夠提高企業(yè)ABC控制系統(tǒng)或即時(shí)制控制系統(tǒng)的運(yùn)行效果。在企業(yè)的云會計(jì)平臺上,通過對自身以往所有各種類型存貨數(shù)據(jù)的大數(shù)據(jù)分析,以及參考同行業(yè)、相關(guān)行業(yè)的歷史數(shù)據(jù),可以對ABC三類存貨進(jìn)行更為科學(xué)合理的區(qū)分,使ABC控制系統(tǒng)更加精確。面對JIT即時(shí)制更加嚴(yán)格的要求,企業(yè)需要考慮到存貨的計(jì)劃需求、與供應(yīng)商關(guān)系、準(zhǔn)備成本、電子數(shù)據(jù)等方面,一旦存貨預(yù)警就會產(chǎn)生生產(chǎn)線、銷售線告急的情況,將為企業(yè)帶來巨大損失。物聯(lián)網(wǎng)與大數(shù)據(jù)技術(shù)的發(fā)展為解決JIT控制面臨的問題提供了解決方案。由供應(yīng)商提供的存貨都帶有唯一的產(chǎn)品電子代碼(EPC),企業(yè)和供應(yīng)商可以通過物聯(lián)網(wǎng)同時(shí)獲得存貨的使用情況,在數(shù)據(jù)顯示該批存貨需要補(bǔ)充時(shí),物聯(lián)網(wǎng)得到傳感信息的反饋及時(shí)提醒企業(yè)補(bǔ)給,通知供應(yīng)商做好供貨準(zhǔn)備,并給出下一訂貨批量的預(yù)計(jì)時(shí)間及數(shù)量要求。這樣就加強(qiáng)了企業(yè)與供應(yīng)商的信息溝通與交流,使JIT控制系統(tǒng)得到更好的實(shí)施。
(三)云會計(jì)使庫存管理更智能
由于各個(gè)地區(qū)消費(fèi)者的需求偏好往往存在差異,使得企業(yè)在全國布局的倉庫庫存往往在商品的類型、數(shù)量等方面不盡相同?;谠茣?jì)平臺,通過前端的物聯(lián)網(wǎng),企業(yè)可以獲取各個(gè)區(qū)域倉庫的存貨情況。針對庫存調(diào)撥,通過后端的數(shù)據(jù)中心進(jìn)行大數(shù)據(jù)分析,可以選擇在最優(yōu)的倉庫之間進(jìn)行商品的調(diào)配,并根據(jù)對調(diào)撥結(jié)果的分析就以后的商品庫存分配進(jìn)行優(yōu)化。消費(fèi)者在網(wǎng)上購買商品時(shí),云會計(jì)平臺會自動選擇就近且有貨的庫存點(diǎn)進(jìn)行智能化發(fā)貨。在存貨的運(yùn)輸與存儲過程中會涉及到安全問題,尤其是對于高價(jià)值的存貨,其一旦損失將會對企業(yè)造成嚴(yán)重影響。云會計(jì)平臺下物聯(lián)網(wǎng)技術(shù)的運(yùn)用,可以做到存貨信息流和物流的統(tǒng)一、對存貨流向形成監(jiān)控,具有極強(qiáng)的監(jiān)測功能。存貨信息能夠?qū)崟r(shí)反映在云會計(jì)平臺上,即便出現(xiàn)貨物丟失情況,企業(yè)也能夠即時(shí)采取措施應(yīng)對,確保企業(yè)存貨的安全性。
二、大數(shù)據(jù)時(shí)代基于云會計(jì)的庫存管理
框架模型構(gòu)建庫存管理及時(shí)準(zhǔn)確地反映各種物資的倉儲、流向情況,可以為企業(yè)的生產(chǎn)管理和成本控制提供依據(jù)。通過對貨物的各種信息進(jìn)行即時(shí)的采集、分析、處理,可以使企業(yè)實(shí)時(shí)動態(tài)的庫存管理成為現(xiàn)實(shí)。在云會計(jì)平臺上,前端的物聯(lián)網(wǎng)技術(shù)能夠?qū)崟r(shí)采集數(shù)據(jù),后端的大數(shù)據(jù)分析中心對數(shù)據(jù)進(jìn)行分析與處理,為企業(yè)的庫存管理決策提供支持。在分析大數(shù)據(jù)時(shí)代云會計(jì)對企業(yè)庫存管理在成本、控制、管理水平等方面影響的基礎(chǔ)上,結(jié)合大數(shù)據(jù)、云會計(jì)和物聯(lián)網(wǎng)的技術(shù)特征,考慮企業(yè)當(dāng)前主要的庫存管理需求,本文建立了由云會計(jì)平臺、大數(shù)據(jù)分析中心、庫存管理等核心模塊組成的大數(shù)據(jù)時(shí)代基于云會計(jì)的企業(yè)庫存管理框架模型。企業(yè)庫存管理決策所需的庫房信息,如倉庫信息、貨位信息、物料信息、出入庫信息等,可以通過物聯(lián)網(wǎng)技術(shù)借助云會計(jì)平臺進(jìn)行實(shí)時(shí)搜集;決策所需的其他大數(shù)據(jù)源,可以通過互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、社會化網(wǎng)絡(luò)等多種媒介,借助云會計(jì)平臺從企業(yè)內(nèi)部、交易所、事務(wù)所、外部市場、銀行等獲取。同時(shí),經(jīng)由大數(shù)據(jù)處理技術(shù)和方法(Hadoop、Storm、PentahoBI等)規(guī)范所獲取數(shù)據(jù),并通過ODS、DW/DM、OLAP等數(shù)據(jù)挖掘與數(shù)據(jù)分析技術(shù)提取企業(yè)進(jìn)行庫存管理決策所需的財(cái)務(wù)與非財(cái)務(wù)數(shù)據(jù)。大數(shù)據(jù)分析中心對企業(yè)庫存管理的入庫信息、調(diào)撥信息、出庫信息進(jìn)行分析,以此來支撐庫存管理模塊,為采購入庫、庫房調(diào)撥、銷售出庫階段實(shí)時(shí)、準(zhǔn)確的決策提供了依據(jù)。
(一)采購入庫在采購入庫階段
由大數(shù)據(jù)分析中心結(jié)合企業(yè)生產(chǎn)情況、外部環(huán)境等因素對采購計(jì)劃、采購數(shù)量、采購時(shí)間、物流過程等相關(guān)采購流程的影響,就公司所接訂單、產(chǎn)品或服務(wù)的生產(chǎn)周期以及交貨的時(shí)間等進(jìn)行分析,并針對企業(yè)歷史數(shù)據(jù)的分析以及對供應(yīng)商信用程度、產(chǎn)品質(zhì)量、產(chǎn)品價(jià)格等的綜合分析,制定出《合格供應(yīng)商名冊》向企業(yè)推薦最優(yōu)供應(yīng)商。采購部門則根據(jù)分析結(jié)果按照企業(yè)需求制定出科學(xué)的采購計(jì)劃與選擇適合并滿意的供應(yīng)商。完成供應(yīng)商選擇之后要進(jìn)行簽訂采購合同、發(fā)出訂購單,供應(yīng)商確認(rèn)訂購單、根據(jù)訂單交貨等步驟,這一過程需注意明確合同內(nèi)容,明晰產(chǎn)品信息與雙方責(zé)任。在最后一個(gè)部分即進(jìn)料檢驗(yàn)及入庫階段,由射頻識別技術(shù)(RFID)識別出產(chǎn)品的品牌、規(guī)格、型號以及供應(yīng)商的檢驗(yàn)合格標(biāo)識(在物聯(lián)網(wǎng)技術(shù)下,產(chǎn)品都帶有唯一電子標(biāo)簽)之后方可入庫,若有檢驗(yàn)不合格者,根據(jù)標(biāo)簽自帶的生產(chǎn)信息退回至供應(yīng)商處,并根據(jù)采購合同的條款或退換貨物或進(jìn)行賠付,退換后的貨物同樣要進(jìn)行這一系列的檢驗(yàn)過程,直到合格后入庫。
(二)庫房調(diào)撥在庫房調(diào)撥階段
模型采用完全共享策略,即某倉庫庫存水平一旦無法滿足當(dāng)前訂單,而采用調(diào)撥方式可滿足時(shí),可從其他點(diǎn)調(diào)撥,要求調(diào)撥點(diǎn)的當(dāng)前庫存能滿足需求點(diǎn)的訂單需求量。由于云會計(jì)前端的物聯(lián)網(wǎng)可以得到企業(yè)各倉庫的庫存信息,這樣在任何倉庫發(fā)生存貨預(yù)警時(shí),都可以向后端的大數(shù)據(jù)分析中心實(shí)時(shí)反饋請求調(diào)撥信息。對請求調(diào)撥信息進(jìn)行分析之后,按照最小費(fèi)用策略確定存貨的調(diào)撥點(diǎn)與調(diào)撥量,并向該倉庫調(diào)撥信息,以此在各倉庫間完成存貨的相互補(bǔ)給。在各倉庫不能滿足庫存需要或者調(diào)撥成本過高時(shí),庫存信息將直接向總部反饋,由總部完成存貨的分配。最后將調(diào)撥結(jié)果經(jīng)由大數(shù)據(jù)分析中心向倉儲管理部門進(jìn)行匯報(bào)?;谠茣?jì)的庫存調(diào)撥模塊將企業(yè)的分布式庫存連成了一個(gè)有機(jī)整體,不再是單獨(dú)的倉庫管理,可滿足大中型企業(yè)庫存實(shí)時(shí)性的問題,便于整體優(yōu)化及一體化管理。大數(shù)據(jù)分析中心為各倉庫的信息共享提供了技術(shù)支撐,物聯(lián)網(wǎng)技術(shù)的運(yùn)用為掌握各倉庫的實(shí)時(shí)信息提供了有力保障,可為企業(yè)節(jié)省時(shí)間與成本。
(三)銷售出庫針對企業(yè)的銷售出庫
銷售部門根據(jù)經(jīng)由大數(shù)據(jù)分析中心分析之后的客戶訂單向指定的倉庫下達(dá)發(fā)貨指令,當(dāng)指定倉庫接收到發(fā)貨指令之后帶有RFID的貨物將發(fā)往指定地點(diǎn),同時(shí),貨物的地理位置信息與其他信息等由帶RFID技術(shù)的物聯(lián)網(wǎng)通過大數(shù)據(jù)分析中心向倉儲管理部門實(shí)時(shí)反饋,以確保貨物的安全以及了解物流信息。在貨物到達(dá)指定地點(diǎn)后,將會再次向大數(shù)據(jù)分析中心反饋信息,并向倉儲管理部門與銷售部門發(fā)送貨物安全送達(dá)的信息,從而完成整個(gè)出庫過程。
三、結(jié)語
會計(jì)信息化是我國“十二五”期間會計(jì)改革與發(fā)展的重要內(nèi)容之一,也是很多企業(yè)提高會計(jì)系統(tǒng)效率的有效途徑.會計(jì)信息化是信息社會的產(chǎn)物,是將計(jì)算機(jī)、網(wǎng)絡(luò)通訊等先進(jìn)的信息技術(shù)引入會計(jì)學(xué)科,促進(jìn)企業(yè)會計(jì)系統(tǒng)網(wǎng)絡(luò)化發(fā)展的過程.大數(shù)據(jù)的興起、云計(jì)算的增速和以云計(jì)算為基礎(chǔ)的云會計(jì)的應(yīng)用為會計(jì)信息化的發(fā)展提供了技術(shù)支持和平臺.企業(yè)會計(jì)信息化的深度發(fā)展對于大數(shù)據(jù)的需要與日俱增.
1企業(yè)會計(jì)信息化的現(xiàn)狀
1.1、會計(jì)信息披露具有偏向性,導(dǎo)致信息不對稱
傳統(tǒng)的會計(jì)信息系統(tǒng)會誘使企業(yè)選擇特定的會計(jì)方法而造成企業(yè)管理人員利用自身是信息提供者這一優(yōu)勢,不斷地美化會計(jì)報(bào)表,這對于外部使用者而言是非常不公平的.
1.2、內(nèi)部自我約束能力弱,導(dǎo)致數(shù)據(jù)不真實(shí)
在傳統(tǒng)會計(jì)信息系統(tǒng)下,一些企業(yè)為了眼前經(jīng)濟(jì)指標(biāo)的提升或者任務(wù)的完成,常常通過人為調(diào)整會計(jì)報(bào)表來應(yīng)付各機(jī)構(gòu)的檢查,自我約束能力弱,數(shù)據(jù)失真.還有很多企業(yè)對現(xiàn)有的政策法規(guī)鉆空子、打球的現(xiàn)象屢禁不止.聘請的第三方審計(jì)機(jī)構(gòu)也本著“企業(yè)利益最大化”的審計(jì)目標(biāo),對企業(yè)不真實(shí)的數(shù)據(jù)進(jìn)行舞弊,以點(diǎn)蓋面.
1.3、核算量大,導(dǎo)致信息披露不完全
傳統(tǒng)的會計(jì)信息系統(tǒng)下,會計(jì)的信息系統(tǒng)發(fā)展越來越不能適應(yīng)高速發(fā)展的經(jīng)濟(jì)業(yè)務(wù),很容易造成信息披露不完全.信息經(jīng)濟(jì)時(shí)代下,應(yīng)該更多的提供企業(yè)未來價(jià)值的知識資源,而不是沉浸在企業(yè)過去的財(cái)務(wù)數(shù)據(jù)中.
1.4、企業(yè)信息數(shù)據(jù)單一,導(dǎo)致信息缺少指導(dǎo)性
傳統(tǒng)的會計(jì)信息系統(tǒng)主要是對企業(yè)財(cái)務(wù)信息的反映,往往忽視了非財(cái)務(wù)信息.企業(yè)自身變化的社會經(jīng)濟(jì)形勢要求我們不能只依靠過去的財(cái)務(wù)數(shù)據(jù)對未來發(fā)展做出預(yù)測.對企業(yè)未來的發(fā)展預(yù)測用某些非財(cái)務(wù)信息可能會更加合理.如企業(yè)的環(huán)境成本、社會責(zé)任等信息都需要非財(cái)務(wù)信息的提供.
1.5、信息傳遞滯后,導(dǎo)致會計(jì)信息缺乏時(shí)效性
傳統(tǒng)的會計(jì)信息系統(tǒng)采用先發(fā)生交易事項(xiàng)后進(jìn)行記錄的程序,無法滿足當(dāng)代企業(yè)對信息時(shí)效性的要求.企業(yè)以及社會各機(jī)構(gòu)、投資者越來越需要了解隨時(shí)發(fā)生的財(cái)務(wù)信息,對其進(jìn)行更好的決策,這就要求企業(yè)不定期的提供會計(jì)信息,對于會計(jì)期間的定義也不再以年為單位了.因此,現(xiàn)有的會計(jì)信息滯后的時(shí)效性嚴(yán)重影響使用者的需求和投資者的決策.綜上可知,傳統(tǒng)的會計(jì)信息系統(tǒng)逐漸出現(xiàn)了不適應(yīng)當(dāng)今經(jīng)濟(jì)發(fā)展的事態(tài),高效、全面的信息化系統(tǒng)變得越來越重要.在大數(shù)據(jù)時(shí)代下會計(jì)信息的不斷創(chuàng)新,快速發(fā)展勢在必行.
2大數(shù)據(jù)對企業(yè)會計(jì)信息化的促進(jìn)作用
大數(shù)據(jù)時(shí)代下,對會計(jì)信息化的促進(jìn)作用主要表現(xiàn)在:信息結(jié)構(gòu)更加客觀,既強(qiáng)調(diào)了會計(jì)信息的精準(zhǔn)性,又不失相關(guān)性;財(cái)務(wù)會計(jì)信息管理的程序化;會計(jì)人員工作轉(zhuǎn)向宏觀信息管理;多元化的計(jì)量單位.在大數(shù)據(jù)時(shí)代下非結(jié)構(gòu)化數(shù)據(jù)成為主導(dǎo),在會計(jì)信息中可以更好的融合結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù),更好的提高數(shù)據(jù)的相關(guān)性,并且不會人為的進(jìn)行舞弊.程序化的會計(jì)信息管理也將出現(xiàn),財(cái)務(wù)部門逐漸將不再作為一個(gè)部門,而是作為一個(gè)類似于“企業(yè)”的獨(dú)立個(gè)體,數(shù)據(jù)的獲取可以不通過部門的上報(bào)來實(shí)現(xiàn),而是通過財(cái)務(wù)部門設(shè)定的獨(dú)立軟件獲取,這也提升了財(cái)務(wù)本身的獨(dú)立性,同時(shí)也可以為其他部門提供共享服務(wù);財(cái)務(wù)部門不需要對數(shù)據(jù)進(jìn)行處理,而是轉(zhuǎn)變成為數(shù)據(jù)的使用和管理者.在大數(shù)據(jù)時(shí)代下,多元化的計(jì)量單位將會出現(xiàn),會計(jì)計(jì)量單位會出現(xiàn)相關(guān)的時(shí)間、數(shù)量單位等.
3大數(shù)據(jù)時(shí)代下會計(jì)信息化面臨的挑戰(zhàn)
大數(shù)據(jù)時(shí)代下,企業(yè)會計(jì)信息化系統(tǒng)是通過互聯(lián)網(wǎng)來實(shí)現(xiàn)與客戶、供應(yīng)商、銀行、稅務(wù)等機(jī)構(gòu)互通的,其提高企業(yè)財(cái)務(wù)管理效率的作用是顯而易見的.但目前因?yàn)榇髷?shù)據(jù)的發(fā)展尚未成熟,這就為會計(jì)信息化的快速發(fā)展帶來了較大的挑戰(zhàn).
3.1數(shù)據(jù)的來源以及處理方式
大數(shù)據(jù)時(shí)代下最令人關(guān)注的問題就是數(shù)據(jù)從何而來,以及數(shù)據(jù)的處理方式.①美國數(shù)據(jù)科學(xué)家維克托•邁爾•舍恩伯格在《大數(shù)據(jù)時(shí)代》一書中提出,“以前一旦完成了收集數(shù)據(jù)的目的之后,數(shù)據(jù)就會被認(rèn)為已經(jīng)沒有用處了.比如,在飛機(jī)降落之后,票價(jià)數(shù)據(jù)就沒有用了;一個(gè)網(wǎng)絡(luò)檢索命令完成之后,這項(xiàng)指令也已進(jìn)入過去時(shí).但如今,數(shù)據(jù)已經(jīng)成為一種商業(yè)資本,可以創(chuàng)造新的經(jīng)濟(jì)利益.”大數(shù)據(jù)時(shí)代下,數(shù)據(jù)的來源無孔不入,互聯(lián)網(wǎng)平臺上的任何一種資源都可以成為其來源方式.網(wǎng)絡(luò)平臺對用戶使用的信息一覽無余,一個(gè)簡單的第三方軟件就可以知道我們需要什么,需要何種服務(wù),經(jīng)濟(jì)狀況如何,經(jīng)常偏愛哪種東西等等.企業(yè)在云端儲存的數(shù)據(jù)對于云端后臺的信息維護(hù)人員來說,獲取變的輕而易舉.防止惡意程序以及提高用戶的安全系統(tǒng),保護(hù)數(shù)據(jù)的隱私是很難解決的問題.在通過各種方式獲取了用戶的數(shù)據(jù)信息之后,要用這些數(shù)據(jù)干什么以及如何使用就成了關(guān)鍵性問題.大數(shù)據(jù)時(shí)代下的信息處理是通過特定的程序來完成的,這樣的結(jié)論更加客觀,同時(shí)結(jié)論的得出也具有局限性.大數(shù)據(jù)理論過于依賴數(shù)據(jù)的匯集,那么一旦數(shù)據(jù)本身有問題,就很可能出現(xiàn)滿盤皆輸?shù)木置?,因?yàn)閿?shù)據(jù)的問題,做出的錯(cuò)誤預(yù)測和決策,導(dǎo)致一個(gè)數(shù)據(jù)有問題,由此相關(guān)的數(shù)據(jù)而產(chǎn)生的信息本身都是問題所在.這對于數(shù)據(jù)來源的要求是非常高的,一旦有提供者造假,大數(shù)據(jù)帶來的危害是不可忽視的.
3.2傳統(tǒng)用戶對云計(jì)算、云會計(jì)的排斥
對于不知道云計(jì)算如何使用、互聯(lián)網(wǎng)軟件能帶來什么效益的用戶來說,這項(xiàng)工作還是很難完成的,大數(shù)據(jù)的推廣受到了很大的阻礙.對于云會計(jì)更廣泛的應(yīng)用,改變傳統(tǒng)的用戶觀念以及現(xiàn)有的會計(jì)信息系統(tǒng),使網(wǎng)絡(luò)平臺更容易被用戶所接受是一個(gè)非常艱難的過程.
3.3超滿負(fù)荷的網(wǎng)絡(luò)傳輸問題
大數(shù)據(jù)時(shí)代下,會計(jì)信息化系統(tǒng)必須依賴于網(wǎng)絡(luò),這就要求企業(yè)應(yīng)具備一個(gè)良好的網(wǎng)絡(luò)傳輸環(huán)境.就目前而言,網(wǎng)絡(luò)的堵塞和數(shù)據(jù)的延時(shí)都是大量的數(shù)據(jù)存儲和數(shù)據(jù)交換造成的,超滿負(fù)荷的數(shù)據(jù)傳輸成為會計(jì)信息化中的一個(gè)瓶頸,網(wǎng)絡(luò)技術(shù)的發(fā)展目前還不能完全滿足包括網(wǎng)絡(luò)自我恢復(fù)、故障檢測、問題警告等功能的實(shí)現(xiàn).
二大數(shù)據(jù)時(shí)代下會計(jì)信息化所面臨問題的解決建議
大數(shù)據(jù)對會計(jì)信息化的影響是一個(gè)漸進(jìn)的過程,在這個(gè)過程中,財(cái)務(wù)工作者應(yīng)該積極把握大數(shù)據(jù)時(shí)代給我們帶來的機(jī)遇和挑戰(zhàn).針對大數(shù)據(jù)時(shí)代下會計(jì)信息化面臨的問題提出如下建議:
1建立并掌控企業(yè)的核心數(shù)據(jù)
提供可靠的云會計(jì)服務(wù)平臺.大數(shù)據(jù)會計(jì)的服務(wù)數(shù)據(jù)是基于云儲存平臺上的,雖然數(shù)據(jù)安全機(jī)制都很高,但對于企業(yè)的會計(jì)與經(jīng)濟(jì)信息的完全控制并不能保證.因此,企業(yè)在選擇使用云會計(jì)模塊時(shí)應(yīng)當(dāng)根據(jù)自己的實(shí)際情況判斷其可行性,對于重要程度高的信息應(yīng)合理判斷是否應(yīng)該交由數(shù)據(jù)服務(wù)商管理.對于企業(yè)會計(jì)信息化的實(shí)施安全性而言,數(shù)據(jù)服務(wù)提供商的選擇是至關(guān)重要的,要在對提供商的綜合評價(jià)之后再進(jìn)行決定.為保證云會計(jì)服務(wù)的安全穩(wěn)定,企業(yè)可根據(jù)自身業(yè)務(wù)需求靈活地進(jìn)行模塊組裝以及完善的技術(shù)支持,企業(yè)的云會計(jì)應(yīng)該適合自己的特色.除此之外,為了防止會計(jì)信息的濫用,對于每一個(gè)可接觸信息的人都要進(jìn)行身份驗(yàn)證,并且對安全級別進(jìn)行評估.
2進(jìn)行高效的企業(yè)機(jī)構(gòu)設(shè)置變更
由于傳統(tǒng)會計(jì)的深入人心,企業(yè)云會計(jì)的推廣還是非常困難的.解決這一問題可以考慮當(dāng)云會計(jì)引入之后,對機(jī)構(gòu)設(shè)置進(jìn)行變更,讓每一個(gè)財(cái)務(wù)人員都能感受到這一改變帶來的高效性.企業(yè)應(yīng)結(jié)合自身的實(shí)際情況,設(shè)置最適合企業(yè)云會計(jì)應(yīng)用的高效組織機(jī)構(gòu).
3有選擇性地進(jìn)行云計(jì)算
一般認(rèn)為,大數(shù)據(jù)是由數(shù)量巨大、結(jié)構(gòu)復(fù)雜、類型眾多的數(shù)據(jù)構(gòu)成的數(shù)據(jù)集合,是基于云計(jì)算、通過數(shù)據(jù)整合共享、交叉復(fù)用形成的智力資源和知識服務(wù)能力。通常認(rèn)為它具有下述“四V”特征:
1.1數(shù)量大(Volume)。大數(shù)據(jù)的數(shù)據(jù)量級已發(fā)展至PB(1000T)、EB(100萬個(gè)T)乃至ZB(10億個(gè)T),可稱為海量、巨量乃至超量。
1.2速度快(Velocity)。大數(shù)據(jù)往往表現(xiàn)為高速實(shí)時(shí)數(shù)據(jù)流,時(shí)效性非常高。因此對處理工具的要求很苛刻,軟件工程、人工智能、機(jī)器學(xué)習(xí)等都應(yīng)引入。這是區(qū)別于傳統(tǒng)數(shù)據(jù)最顯著的特征。
1.3多樣化(Variety)。數(shù)據(jù)種類繁多,形式多樣。包括各種信息及其網(wǎng)頁、圖片、音頻、視頻、圖像與位置等存在方式。
1.4價(jià)值高(Value)。大數(shù)據(jù)數(shù)量越龐大,價(jià)值越高,真實(shí)性、可靠性越強(qiáng)。但同時(shí)無效信息也越多,需要通過強(qiáng)大的機(jī)器算法對數(shù)據(jù)迅速地“去粗取精”,否則也只能望洋興嘆。
2大數(shù)據(jù)對科技咨詢業(yè)發(fā)展的影響
2.1拓展業(yè)務(wù)空間大數(shù)據(jù)信息對應(yīng)的是高速實(shí)時(shí)數(shù)據(jù)流。這些數(shù)據(jù)流往往能產(chǎn)生難以想象的作用,其能量也將被層層放大,還有可能在另一個(gè)看起來毫不相關(guān)的領(lǐng)域得到應(yīng)用。大數(shù)據(jù)環(huán)境下的科技咨詢就將具有全球性、戰(zhàn)略性意義,業(yè)務(wù)范圍和服務(wù)空間都將得到迅速拓展??萍甲稍兏飨嚓P(guān)要素,如科技資源、科技人才、創(chuàng)新需求、創(chuàng)新環(huán)境、創(chuàng)新成果等的疆界,將受到大數(shù)據(jù)浪潮的沖擊。同時(shí),落后地區(qū)和難以涉獵領(lǐng)域的業(yè)務(wù)也將在其帶動下快速提升。
2.2規(guī)范咨詢決策大數(shù)據(jù)將改變科技咨詢決策方式,使其進(jìn)入“數(shù)據(jù)驅(qū)動型”決策模式。因?yàn)槊鎸Υ髷?shù)據(jù)的潛在價(jià)值,決策者不僅要使用新的技術(shù),還要改變目前的決策過程,政府也將更有效率、更加開放、更加負(fù)責(zé)。因?yàn)橐龑?dǎo)政府決策的是基于實(shí)證的事實(shí),而不是意識形態(tài),也不是利益集團(tuán)在政府決策過程中施加的影響。
3大數(shù)據(jù)環(huán)境下科技咨詢業(yè)發(fā)展道路
從上面的分析不難看出,大數(shù)據(jù)將給科技咨詢業(yè)帶來無限的生機(jī)和活力??萍甲稍儤I(yè)應(yīng)搶抓機(jī)遇,跨越發(fā)展,走規(guī)?;?、信息化、科學(xué)化、現(xiàn)代化的可持續(xù)發(fā)展道路。
3.1挖掘大數(shù)據(jù),促進(jìn)規(guī)?;l(fā)展我國科技咨詢業(yè)規(guī)模較小,究其原因,一是咨詢市場還沒有完全放開,市場主導(dǎo)地位沒有顯現(xiàn),資本缺乏信心。二是科技咨詢價(jià)值沒有得到廣泛認(rèn)同,潛在需求得不到釋放。三是現(xiàn)有機(jī)構(gòu)沒有形成專業(yè)分工和自主品牌,無法帶來規(guī)模效應(yīng)。然而,在大數(shù)據(jù)時(shí)代,最重要的生產(chǎn)資料———數(shù)據(jù)將自由地流動起來,推動知識經(jīng)濟(jì)和網(wǎng)絡(luò)經(jīng)濟(jì)的發(fā)展,傳統(tǒng)經(jīng)濟(jì)體制機(jī)制對科技咨詢業(yè)的束縛將大大減輕,“得數(shù)據(jù)者得天下”將成為共識,市場將發(fā)揮主導(dǎo)作用,吸引大量資本進(jìn)入,促使機(jī)構(gòu)快速升級。同時(shí),隨著競爭的加劇,咨詢質(zhì)量、咨詢價(jià)值必將得到提高和認(rèn)同,潛在的需求必將迸發(fā)。
3.2利用大數(shù)據(jù),加快信息化進(jìn)程目前我國科技咨詢信息化建設(shè)大致經(jīng)歷了計(jì)算機(jī)初步應(yīng)用、管理信息系統(tǒng)應(yīng)用和互聯(lián)網(wǎng)技術(shù)應(yīng)用三個(gè)階段。隨著時(shí)代的發(fā)展,大數(shù)據(jù)將掀起新一輪信息化革命??萍甲稍儤I(yè)必須充分利用大數(shù)據(jù)技術(shù),在政府引導(dǎo)下,進(jìn)一步完善信息化工程,建立基于大數(shù)據(jù)的科技咨詢信息平臺,實(shí)現(xiàn)在虛擬空間中不同信息資源的快速整合與對接,提高咨詢要素使用效率和運(yùn)行主體工作效率。
3.3憑借大數(shù)據(jù),提高科學(xué)化水平大數(shù)據(jù)的客觀實(shí)在性和真實(shí)可靠性并存。對大數(shù)據(jù)進(jìn)行深度挖掘,可以提高科技咨詢科學(xué)化水平。首先,基于大數(shù)據(jù),科技咨詢信息的真實(shí)性有了更大的保障。其次,依據(jù)大數(shù)據(jù)特征,可幫助制定更為科學(xué)的咨詢戰(zhàn)略、方案和計(jì)劃,同時(shí)降低過時(shí)咨詢、無效咨詢的風(fēng)險(xiǎn)。再次,基于大數(shù)據(jù),科技咨詢具有更強(qiáng)的針對性。咨詢師可以深度分析、挖掘最高管理者的知識結(jié)構(gòu)、創(chuàng)業(yè)經(jīng)歷、行為習(xí)慣等信息,準(zhǔn)確把握其管理理念。最后,通過對大數(shù)據(jù)的分析、挖掘與利用,可最大程度地減少因數(shù)據(jù)不全而帶來的負(fù)面作用。
3.4依托大數(shù)據(jù),實(shí)現(xiàn)現(xiàn)代化轉(zhuǎn)型隨著時(shí)代的發(fā)展,傳統(tǒng)的咨詢工具、內(nèi)容、形式、速度、效率等越來越不能滿足現(xiàn)代社會發(fā)展的需求。依托大數(shù)據(jù),可以實(shí)現(xiàn)科技咨詢向現(xiàn)代化轉(zhuǎn)型。首先,大數(shù)據(jù)環(huán)境促使科技咨詢必須運(yùn)用現(xiàn)代化咨詢工具。如,大數(shù)據(jù)的超大量級迫切要求科技咨詢設(shè)備現(xiàn)代化、信息數(shù)字化。其次,大數(shù)據(jù)促使科技咨詢內(nèi)容、形式現(xiàn)代化。現(xiàn)代社會工作、生活節(jié)奏很快,簡潔實(shí)用、形式新穎是對科技咨詢工作的新要求。形式多樣的大數(shù)據(jù)正好為科技咨詢提供了便利。再次,快速、高效是現(xiàn)代化的重要特征,而高速實(shí)時(shí)的大數(shù)據(jù)則要求科技咨詢處理工具快速演進(jìn)、高效運(yùn)行。最后,大數(shù)據(jù)的基本特征決定了科技咨詢必須進(jìn)行全方位的改革創(chuàng)新,緊跟現(xiàn)代化發(fā)展步伐。大、多、真、快、稍縱即逝的大數(shù)據(jù)要求科技咨詢必須借助移動互聯(lián)、云計(jì)算、軟件工程、人工智能、機(jī)器學(xué)習(xí)等手段,優(yōu)化資源配置,建立高智能科技咨詢協(xié)作平臺,向科技咨詢現(xiàn)代化邁進(jìn)。
4總結(jié)
英國NFI項(xiàng)目每年均對上個(gè)財(cái)政年度的數(shù)據(jù)分析和對比情況出具審計(jì)報(bào)告,不僅橫向?qū)Ρ雀餍袠I(yè)數(shù)據(jù)欺詐的件數(shù)和金額,還縱向?qū)Ρ冉陙淼淖兓闆r。一方面勾勒出欺詐問題出現(xiàn)的高風(fēng)險(xiǎn)重點(diǎn)行業(yè)和重點(diǎn)領(lǐng)域,為審計(jì)項(xiàng)目的選擇鎖定重點(diǎn);另一方面動態(tài)反映數(shù)據(jù)欺詐問題的變化趨勢,不僅發(fā)現(xiàn)問題,還有針對性地跟蹤某類欺詐問題是否得到了遏制,已經(jīng)發(fā)現(xiàn)的問題是否得到了有效整改。我國審計(jì)始終強(qiáng)調(diào)全面審計(jì)、突出重點(diǎn),但是如何發(fā)現(xiàn)和突出重點(diǎn)卻一直是審計(jì)實(shí)踐面臨的難題。不但可以通過大數(shù)據(jù)的匯總、統(tǒng)計(jì)功能對被審計(jì)單位的情況進(jìn)行總體把握,還可以通過橫向、縱向?qū)Ρ龋垲?、關(guān)聯(lián)分析,發(fā)現(xiàn)存在虛報(bào)冒領(lǐng)、擠占挪用、重復(fù)申報(bào)、截留套取等違法違規(guī)問題的高發(fā)行業(yè)、領(lǐng)域、環(huán)節(jié)、單位和部門,為審計(jì)延伸提供精確制導(dǎo)的坐標(biāo),為審計(jì)項(xiàng)目計(jì)劃提供確切實(shí)在的依據(jù)。
二、大數(shù)據(jù)分析是績效審計(jì)的利器
英國NFI通過大數(shù)據(jù)分析,不僅發(fā)現(xiàn)個(gè)案問題,還對同類問題的產(chǎn)生原因進(jìn)行分析,促使相關(guān)部門和單位完善制度,堵塞漏洞,提高公共資金的使用效率和效益。近年來,隨著我國財(cái)經(jīng)制度的不斷完善和加強(qiáng),違反財(cái)經(jīng)紀(jì)律、違法違規(guī)的問題得到了很大遏制,國家審計(jì)在繼續(xù)查處違法違規(guī)性問題的同時(shí),也十分注重對公共財(cái)政資金使用績效進(jìn)行審計(jì)。通過大數(shù)據(jù)集中分析平臺的關(guān)聯(lián)分析查詢,能夠從整體層面高效、便捷地發(fā)現(xiàn)諸如公共財(cái)政資金滯留的具體環(huán)節(jié)、時(shí)間;發(fā)現(xiàn)公共財(cái)政資金投向不符合產(chǎn)業(yè)政策導(dǎo)向;發(fā)現(xiàn)財(cái)政專項(xiàng)資金分配在地區(qū)和部門間存在的不均衡、不合理;發(fā)現(xiàn)財(cái)政投入的建設(shè)項(xiàng)目存在的進(jìn)度滯后、效益與預(yù)期不符等問題。大數(shù)據(jù)提供的證據(jù)與審計(jì)抽查相比,能夠更加全面、客觀地反映某項(xiàng)公共財(cái)政資金產(chǎn)生的整體效果和存在問題。在此基礎(chǔ)上提出的審計(jì)意見和建議,更加充分、準(zhǔn)確和有針對性,更能促使相關(guān)部門和單位完善制度、落實(shí)責(zé)任、加強(qiáng)管理,更好地實(shí)現(xiàn)公共財(cái)政資金的價(jià)值。
三、如何構(gòu)建審計(jì)大數(shù)據(jù)平臺
1.通過立法為建立審計(jì)大數(shù)據(jù)集中分析平臺奠定基石。英國NFI的數(shù)據(jù)收集和分析工作是依據(jù)2008年7月21日修訂的數(shù)據(jù)配比法案進(jìn)行的,法律授權(quán)使英國審計(jì)委員會將數(shù)據(jù)收集、整理、分析等工作成為常態(tài),這是審計(jì)開展大數(shù)據(jù)分析的基石。目前,我國審計(jì)法授予了審計(jì)機(jī)關(guān)在審計(jì)期間獲取被審計(jì)單位數(shù)據(jù)的權(quán)力,但是審計(jì)項(xiàng)目是單個(gè)開展的,各被審計(jì)單位之間的數(shù)據(jù)不能完全地相互關(guān)聯(lián),形成了一個(gè)個(gè)數(shù)據(jù)孤島;并且,審計(jì)項(xiàng)目一結(jié)束,被審計(jì)單位就不愿意繼續(xù)向?qū)徲?jì)機(jī)關(guān)提供數(shù)據(jù),難以對被審計(jì)單位進(jìn)行持續(xù)的審計(jì)監(jiān)督。借鑒英國的經(jīng)驗(yàn),我國應(yīng)當(dāng)從法律層面明確屬于國家審計(jì)范圍的政府部門、企事業(yè)單位、公共機(jī)構(gòu),以及使用公共財(cái)政資金的企業(yè)、單位等應(yīng)當(dāng)定期向?qū)徲?jì)機(jī)關(guān)提供電子數(shù)據(jù),為國家審計(jì)進(jìn)行大數(shù)據(jù)分析創(chuàng)造條件,從根本上解決目前存在的數(shù)據(jù)收集難、不完整、時(shí)效性差等問題,將一個(gè)個(gè)數(shù)據(jù)“孤島”連接起來,在此基礎(chǔ)上進(jìn)行深入的關(guān)聯(lián)、對比和分析,真正發(fā)揮信息時(shí)代大數(shù)據(jù)的強(qiáng)大作用。
2.建立統(tǒng)一的數(shù)據(jù)格式標(biāo)準(zhǔn)。英國NFI項(xiàng)目的數(shù)據(jù)涉及相關(guān)政府部門、醫(yī)院、學(xué)校、養(yǎng)老金管理機(jī)構(gòu)、房屋管理機(jī)構(gòu)、銀行、部分私營企業(yè)等,提供的數(shù)據(jù)包括單位財(cái)務(wù)數(shù)據(jù)、單位業(yè)務(wù)數(shù)據(jù)、部分員工個(gè)人數(shù)據(jù)等,所有提供的數(shù)據(jù)均按照NFI項(xiàng)目指定的數(shù)據(jù)格式范圍。NFI收到各單位上傳的數(shù)據(jù)后,只需經(jīng)過少量的數(shù)據(jù)清理,就可以整合到數(shù)據(jù)集中分析平臺中,對不同部門、機(jī)構(gòu)、單位的數(shù)據(jù)進(jìn)行對比分析。在信息化高度發(fā)展的今天,我國應(yīng)當(dāng)由審計(jì)部門牽頭,工信部、協(xié)會、高校等合作,建立統(tǒng)一的數(shù)據(jù)共享接口,在現(xiàn)有的審計(jì)署財(cái)務(wù)數(shù)據(jù)接口的基礎(chǔ)上,擴(kuò)充和整合管理數(shù)據(jù)、業(yè)務(wù)數(shù)據(jù)等信息,實(shí)現(xiàn)大數(shù)據(jù)兼容匹配。