99热精品69堂国产-97超级碰在线精品视频-日韩欧美中文字幕在线视频-欧美日韩大尺码免费专区-最新国产三级在线不卡视频-在线观看成人免费视频-亚洲欧美国产精品完整版-色综久久天天综合绕视看-中文字幕免费在线看线人-久久国产精品99精品国产

歡迎來到優(yōu)發(fā)表網(wǎng)

購物車(0)

期刊大全 雜志訂閱 SCI期刊 期刊投稿 出版社 公文范文 精品范文

大數(shù)據(jù)開發(fā)的過程范文

時間:2023-05-17 16:11:14

序論:在您撰寫大數(shù)據(jù)開發(fā)的過程時,參考他人的優(yōu)秀作品可以開闊視野,小編為您整理的7篇范文,希望這些建議能夠激發(fā)您的創(chuàng)作熱情,引導(dǎo)您走向新的創(chuàng)作高度。

大數(shù)據(jù)開發(fā)的過程

第1篇

 

信息技術(shù)作為時代不斷發(fā)展的象征,不管是在我國行業(yè)的發(fā)展中,還是在人們的日常生活,都起到了重要作用。同時,在信息技術(shù)不斷發(fā)展的過程中,大數(shù)據(jù)時代的應(yīng)用范圍也在不斷的擴(kuò)大,其來源渠道也非常多,數(shù)量也在不斷增加。在這種情況下,大數(shù)據(jù)時代的大數(shù)據(jù)信息管理就顯的尤為重要。由于大數(shù)據(jù)的數(shù)量不斷增加,現(xiàn)有的管理形式已經(jīng)無法滿足大數(shù)據(jù)時代的發(fā)展,并且在利用計算機(jī)對大數(shù)據(jù)進(jìn)行全面分析和處理的過程中,也受到了嚴(yán)重的影響,因此,要想有效的對大數(shù)據(jù)進(jìn)行充分利用,就要對大數(shù)據(jù)管理形式給予高度重視,采取有效的措施,不斷加強(qiáng)大數(shù)據(jù)的管理形式,最終實(shí)現(xiàn)有效、便捷、安全等管理性能,這也為對我國信息技術(shù)提供了重要的發(fā)展方向。

 

1 大數(shù)據(jù)時代的大數(shù)據(jù)管理發(fā)展歷程

 

近幾年,在大數(shù)據(jù)管理不斷發(fā)展的過程中,也取得了一定的成績。但是,大數(shù)據(jù)管理也經(jīng)歷了一個漫長的過程,主要經(jīng)歷的人工、文件、數(shù)據(jù)庫等管理階段。同時,隨著大數(shù)據(jù)時代的大數(shù)據(jù)不斷增加,所管理的范圍和環(huán)境也在不斷的變化。并且,在大數(shù)據(jù)管理不斷發(fā)展的過程中,一些管理問題逐漸的暴露出來,為大數(shù)據(jù)管理的發(fā)展帶來了新的挑戰(zhàn)和機(jī)遇,下面就大數(shù)據(jù)管理的發(fā)展歷程,管理中存在的不足進(jìn)行簡要的分析和闡述。

 

1.1 大數(shù)據(jù)時代的大數(shù)據(jù)人工管理形式

 

在20世紀(jì)50年代,計算機(jī)技術(shù)的形成主要是針對科學(xué)計算等形式。同時,根據(jù)當(dāng)時的發(fā)展技術(shù)來說,并沒有磁盤、U盤等一些先進(jìn)設(shè)備,將其計算的結(jié)果進(jìn)行去全面的保存和整理,僅僅只是依靠紙帶、卡片等形式,對大數(shù)據(jù)的進(jìn)行有效的記錄。大數(shù)據(jù)時代的大數(shù)據(jù)管理的人員管理形式,不僅僅對大數(shù)據(jù)的記錄存在著一定程度上的誤差,并且在保存的過程中,也會經(jīng)常發(fā)生丟失的現(xiàn)象,對大數(shù)據(jù)時代的大數(shù)據(jù)管理形式的發(fā)展,是沒有任何的幫助。但是,依照當(dāng)時的技術(shù)水平來看,也只能的依靠人工管理的形式了。

 

1.2 大數(shù)據(jù)時代的大數(shù)據(jù)的文件管理形式

 

在大數(shù)據(jù)時代的大數(shù)據(jù)管理的人員管理形式,不斷發(fā)展和改革的過程中,計算機(jī)的軟件和硬件都得到了有效的提高,磁盤、磁鼓等儲存軟件,得到了全面的普及和發(fā)展。同時,在在不斷發(fā)展的過程中,計算機(jī)將大數(shù)據(jù)的組成形式,叫做大數(shù)據(jù)文件,并且在大數(shù)據(jù)文件上就可以直接的取名字,直接的進(jìn)行查看,這對大數(shù)據(jù)的管理,無疑不是一個新的發(fā)展的起點(diǎn)。在大數(shù)據(jù)時代的大數(shù)據(jù)文件管理的過程中,由于大數(shù)據(jù)長期的保存在外面的,這樣在對的大數(shù)據(jù)處理、分析、查找、刪除、修改等操作的過程中,提供了極大程度上的便利,其對其操作的程序,也具有特點(diǎn)的要求。但是,在文件管理的過程中,由于共享性能較大,數(shù)據(jù)與數(shù)據(jù)之間缺乏一定的獨(dú)立性,對其管理和維護(hù)的費(fèi)用和時間較大,這樣往往工作效率提高,不能被廣泛的使用。

 

1.3 大數(shù)據(jù)時代的大數(shù)據(jù)庫管理形式

 

數(shù)據(jù)庫管理形式是大數(shù)據(jù)管理不斷發(fā)展的重要成果,也是到目前為止最后的一個階段。在計算機(jī)技術(shù)不斷發(fā)展的過程中,計算機(jī)內(nèi)部的容量得到了很大程度的提高,并且大數(shù)據(jù)的管理和維護(hù)成本也相應(yīng)的有所下降。同時,在大數(shù)據(jù)管理形式不斷發(fā)展的過程中,對其系統(tǒng)管理內(nèi)存不足等現(xiàn)象,進(jìn)行了全面的提高,有效的實(shí)現(xiàn)了資源共享,也在最大程度上保證了大數(shù)據(jù)的安全、穩(wěn)定等性能。另外,在大數(shù)據(jù)時代的大數(shù)據(jù)庫管理的過程中,不在近幾年只是固定在某一個計算技術(shù)應(yīng)用體系,而是面向整個管理體系,以此在最大程度上提高了大數(shù)據(jù)共享的性能,使大數(shù)據(jù)與大數(shù)據(jù)形成一個獨(dú)立的個體,對其大數(shù)據(jù)進(jìn)行了全面、有效的、統(tǒng)一的管理,為我國信息技術(shù)的發(fā)展提供了重要方向。

 

2 大數(shù)據(jù)時代的大數(shù)據(jù)管理策略

 

2.1 對大數(shù)據(jù)時代的大數(shù)據(jù)管理框架進(jìn)行創(chuàng)新

 

在大數(shù)據(jù)時代的大數(shù)據(jù)管理形式不斷發(fā)展過程中,給企業(yè)發(fā)展帶來沖擊非常巨大。因此,企業(yè)要根據(jù)我國信息技術(shù)不斷發(fā)展的形式,對大數(shù)據(jù)管理框架進(jìn)行全面的設(shè)計和創(chuàng)新,如圖1所示。在大數(shù)據(jù)的處理的過程中,主要是圍繞著數(shù)據(jù)資產(chǎn)進(jìn)行管理的,同時對大數(shù)據(jù)時代的大數(shù)據(jù)管理制度,進(jìn)行全面的規(guī)劃行、設(shè)計、創(chuàng)新,這樣對其它信息技術(shù)管理領(lǐng)域,提供了便利的條件。其實(shí),大數(shù)據(jù)時代的大數(shù)據(jù)管理最主要的目的,就是將大數(shù)據(jù)的價值進(jìn)行充分的展現(xiàn)。另外,在大數(shù)據(jù)時代的大數(shù)據(jù)管理框架不斷創(chuàng)新的過程中,有效的實(shí)現(xiàn)了大數(shù)據(jù)共享等性能,不斷擴(kuò)大了大數(shù)據(jù)時代的大數(shù)據(jù)管理的內(nèi)容,對我國現(xiàn)代化信息技術(shù)的發(fā)展,起到了重要的作用和意義。

 

2.2 開發(fā)與內(nèi)容的管理形式

 

在不斷提高大數(shù)據(jù)時代的大數(shù)據(jù)管理形式的過程中,可以從兩個方面進(jìn)行,一是大數(shù)據(jù)開發(fā)管理,二是內(nèi)容管理。其中大數(shù)據(jù)開發(fā)管理注重于大數(shù)據(jù)管理的定義,和管理解決策略,對其大數(shù)據(jù)的存在價值,進(jìn)行有效的開發(fā)。換句話說,其實(shí)也就是在大數(shù)據(jù)時代的大數(shù)據(jù)管理的過程中,對其管理形式的開發(fā),對大數(shù)據(jù)的功能和價值,進(jìn)行充分的理解。

 

大數(shù)據(jù)時代的大數(shù)據(jù)管理中的內(nèi)容管理是指:企業(yè)對大數(shù)據(jù)進(jìn)行不斷的獲取、使用、存儲、維護(hù)等工作活動。因此,傳統(tǒng)的大數(shù)據(jù)時代的大數(shù)據(jù)管理形式,已經(jīng)無法滿足對這個時展需求。因此,在時代快速發(fā)發(fā)展的推動下,要對開發(fā)管理和內(nèi)容管理,進(jìn)行全面的創(chuàng)新和設(shè)計,對需要專門設(shè)定的管理形式,要給予高度的重視,可以利用的集合型的保存形式,進(jìn)行全面的保存。

 

其實(shí),大數(shù)據(jù)時代的大數(shù)據(jù)管理主要是為企業(yè)提供重要的發(fā)展方向,為企業(yè)提供重要的價值信息。大數(shù)據(jù)時代的大數(shù)據(jù)管理在數(shù)據(jù)應(yīng)用和開發(fā)的過程中,起到了重要的銜接作用,也為我國信息技術(shù)的發(fā)展,打下了堅(jiān)實(shí)的基礎(chǔ)。

 

2.3 對大數(shù)據(jù)架構(gòu)進(jìn)行全面的管理

 

在大數(shù)據(jù)時代的大數(shù)據(jù)管理的過程中,數(shù)據(jù)框架管理起到了重要的作用,并且與大數(shù)據(jù)開發(fā)的過程中,有很多相似的地方。在傳統(tǒng)的大數(shù)據(jù)時代的大數(shù)據(jù)管理的過程中,對其數(shù)據(jù)的開發(fā)、處理、保存等形式,都受到了一定程度上的限制。因此,在對大數(shù)據(jù)時代的大數(shù)據(jù)架構(gòu)管理的過程中,對其操作形式,進(jìn)行了全面的管理創(chuàng)新,避免受到范圍的限制。另外,隨著大數(shù)據(jù)不斷的增加,大數(shù)據(jù)構(gòu)架管理可以根據(jù)大數(shù)據(jù)的用途,質(zhì)量良好的應(yīng)用形態(tài)。例如:社交網(wǎng)絡(luò)等形式。

 

與此同時,在最近幾年的發(fā)展中,大數(shù)據(jù)時代的大數(shù)據(jù)管理形式,也面臨著新的挑戰(zhàn)基機(jī)遇。以此,只有對大數(shù)據(jù)時代的大數(shù)據(jù)管理形式,對個人信息、隱私等進(jìn)行全面的管理,避免個人信息、隱私等發(fā)生泄露、不對稱等現(xiàn)象的發(fā)生,這樣不僅僅企業(yè)在發(fā)展的過程中,提供了最大程度上的安全保障,也為大數(shù)據(jù)時代的發(fā)展,帶來了新的發(fā)展篇章。

 

3 結(jié)語

 

綜上所述,大數(shù)據(jù)時代是信息技術(shù)時代不斷發(fā)展的產(chǎn)物,不管對我國經(jīng)濟(jì)的發(fā)展,還是人們在日常工作、生活的過程中,都起到了重要的作用和意義。因此,本文對大數(shù)據(jù)時代的大數(shù)據(jù)管理發(fā)展的歷程進(jìn)行了簡要的分析,并對大數(shù)據(jù)時代的大數(shù)據(jù)管理形式,提出了一些可參考性的建議,只有對大數(shù)據(jù)時代的大數(shù)據(jù)管理形式,進(jìn)行不斷的創(chuàng)新,對大數(shù)據(jù)時代的大數(shù)據(jù)管理框架,進(jìn)行不斷的構(gòu)建,也只有這樣的才能在最大程度上促進(jìn)了我國信息技術(shù)的發(fā)展,也為我國各行各業(yè)的發(fā)展,提供了重要的發(fā)展方向,對我國經(jīng)濟(jì)的發(fā)展,也起到了推動性的作用。

第2篇

關(guān)鍵詞:大數(shù)據(jù);軟件工程;群體軟件;關(guān)鍵技術(shù)

一、大數(shù)據(jù)時代軟件服務(wù)工程與群體軟件工程

所謂軟件服務(wù)工程,就是將服務(wù)作為主要目標(biāo),在應(yīng)用時需要根據(jù)變化不斷通過虛擬的手段與分布式手段進(jìn)行應(yīng)用,而這種應(yīng)用方法不僅能夠使得軟件更加虛擬化,同時也能強(qiáng)化其操作性,與此同時,更能有效解決動態(tài)變化與分布變化情況[1]。軟件工程在發(fā)展過程中能夠在大數(shù)據(jù)領(lǐng)域、云計算中得到更加廣泛應(yīng)用。在網(wǎng)絡(luò)化、服務(wù)化等大環(huán)境影響下,軟件工程可以得到更好的開放空間。工程師利用數(shù)據(jù)信息交互、學(xué)術(shù)交流等多種方式開展合作,對軟件進(jìn)行開發(fā),建設(shè)更加具有性價比的軟件系統(tǒng)。在軟件開發(fā)中,目前十分成功的就是開源軟件,開源軟件的合作模式與結(jié)構(gòu)都是當(dāng)前學(xué)術(shù)界最看重的,然而當(dāng)前常規(guī)研究方式卻未能實(shí)現(xiàn)較大突破。很多學(xué)者開始嘗試?yán)镁W(wǎng)絡(luò)分析方法對數(shù)據(jù)進(jìn)行有效分析,在一些規(guī)模較大的開發(fā)項(xiàng)目的開發(fā)人員中,外圍開發(fā)者占據(jù)絕對優(yōu)勢,并且模塊化特征更加明顯。和群體軟件工程相比,開源軟件有較弱的發(fā)展態(tài)勢,而群體軟件工程主要是倡導(dǎo)利用眾包形式進(jìn)行開發(fā)。

二、大數(shù)據(jù)時代眾包軟件服務(wù)工程

(一)創(chuàng)新發(fā)展態(tài)勢

眾包軟件服務(wù)工程作為國際各國都密切重視的一種流式數(shù)據(jù)處理與集密數(shù)據(jù)處理方式,特別是在服務(wù)中對產(chǎn)生的各項(xiàng)數(shù)據(jù)尤為重視,如何才能將這些密集型數(shù)據(jù)的存儲設(shè)施、平臺、價值分析等作為服務(wù)對象,是當(dāng)前大數(shù)據(jù)軟件工程在研究過程中的難點(diǎn)與重點(diǎn)部分。從最開始的服務(wù)消費(fèi),到后來的眾包服務(wù)開方,隨后再到軟件平臺管理,運(yùn)營方都由在線流式數(shù)據(jù)和離線密集型數(shù)據(jù)組成。當(dāng)前開發(fā)者版本級別達(dá)到GB級別,眾多用戶數(shù)據(jù)能夠達(dá)到PB級別,在線溝通數(shù)據(jù)更是能達(dá)到TB級別,利用直接推送功能可以左右軟件服務(wù)時間,對軟件產(chǎn)生關(guān)鍵性作用與影響[2]。

(二)軟件生產(chǎn)開發(fā)、運(yùn)營與管理

密集型數(shù)據(jù),因?yàn)樗麄儽旧砉逃械膭討B(tài)分布形式、動態(tài)交互、復(fù)雜演化、動態(tài)分配、價值隱藏等,都能夠體現(xiàn)大數(shù)據(jù)的最原始行駛情況。從本質(zhì)角度來看,這些數(shù)據(jù)僅僅是用于描述內(nèi)容模量,但是沒有具體含義,并且缺乏語義化作用。想要對其進(jìn)行創(chuàng)新,必須打破原有的研究方法與思維,將密集數(shù)據(jù)作為主要材質(zhì)課題,并且將其看作是研究的主體,在主體領(lǐng)域,大數(shù)據(jù)所在流域與主體專家需要制造,傳播大量的數(shù)據(jù)。他們不僅是大數(shù)據(jù)的群體用戶,還是最主要的消費(fèi)者,同時也擔(dān)任著運(yùn)營和管理的作用,能夠?qū)⑷后w智慧匯到一起,逐漸形成系統(tǒng)化的領(lǐng)域和主體知識。將這些知識作為核心與基礎(chǔ),對研究密集型數(shù)據(jù)相對應(yīng)的信息學(xué)過程與生命周期進(jìn)行研究,并且及時推送相應(yīng)的服務(wù)期限,研究數(shù)據(jù)內(nèi)容的相關(guān)語義和標(biāo)志,最終賦予其相應(yīng)的矢量。組織主體部分構(gòu)建價值服務(wù)機(jī)制與知識體系,在研究和互通過程中,利用操作式管理方式將關(guān)鍵技術(shù)應(yīng)用在密集型數(shù)據(jù)上,這些都能展示出眾包軟件工程發(fā)展內(nèi)容。

三、大數(shù)據(jù)背景下關(guān)于信息處理技術(shù)發(fā)展情況

與傳統(tǒng)數(shù)據(jù)形式相對比可知,在大數(shù)據(jù)時代下能夠?qū)崿F(xiàn)各項(xiàng)數(shù)據(jù)相互聯(lián)系,并且這些相互關(guān)聯(lián)的結(jié)構(gòu),能夠利用當(dāng)前所有的框架,對數(shù)據(jù)進(jìn)行及時且有效的處理。將硬件作為基礎(chǔ),通過該基礎(chǔ)搭建的網(wǎng)絡(luò)存在相應(yīng)局限性,并且制約了網(wǎng)絡(luò)的性能和發(fā)展,因此需不斷探索與創(chuàng)新網(wǎng)絡(luò)架構(gòu)技術(shù),以此實(shí)現(xiàn)大數(shù)據(jù)技術(shù)的提高。在日后發(fā)展過程中,計算機(jī)網(wǎng)絡(luò)必須為其提供開放式的結(jié)構(gòu)與傳輸功能,將計算機(jī)網(wǎng)絡(luò)信息處理與軟件基礎(chǔ)、硬件基礎(chǔ)分開使用,隨后對網(wǎng)絡(luò)架構(gòu)進(jìn)行定義。相關(guān)網(wǎng)絡(luò)軟件使得我國網(wǎng)絡(luò)技術(shù)朝著更高水平發(fā)展,隨著大數(shù)據(jù)時代的不斷深入,計算機(jī)能夠?qū)崿F(xiàn)網(wǎng)絡(luò)、硬件、軟件融為一體,并且產(chǎn)生出新的網(wǎng)絡(luò)結(jié)構(gòu),能夠?yàn)榇髷?shù)據(jù)時展提供重要理論與實(shí)踐意義。這種形式不僅能夠突破傳統(tǒng)計算機(jī)在處理信息時因?yàn)榫W(wǎng)絡(luò)所帶來的限制,同時也能使計算機(jī)處理技術(shù)開發(fā)與應(yīng)用形式打破單一情況,逐漸朝著多元化方向不斷發(fā)展。

四、結(jié)語

綜上所述,隨著我國大數(shù)據(jù)時代的到來,社會各領(lǐng)域都將受到大數(shù)據(jù)思想和創(chuàng)新技術(shù)的影響。大數(shù)據(jù)對人們的生活方式產(chǎn)生深刻影響,因此將大數(shù)據(jù)作為當(dāng)前一種最新興的網(wǎng)絡(luò)技術(shù)。

參考文獻(xiàn):

第3篇

關(guān)鍵詞:大數(shù)據(jù);軟件工程;軟件服務(wù)工程;第四范式

自上個世紀(jì)90年代初,信息高速公路在美國提出以來,歷經(jīng)近30年的發(fā)展演進(jìn),信息技術(shù)發(fā)展突飛猛進(jìn),信息化領(lǐng)域的新技術(shù)、新詞語層出不窮,諸如IT技術(shù)、互聯(lián)網(wǎng)技術(shù)、大數(shù)據(jù)技術(shù)、區(qū)塊鏈技術(shù)、人工智能等。并且對人們的生產(chǎn)、生活方式產(chǎn)生了深刻的影響,認(rèn)為現(xiàn)在進(jìn)入了大數(shù)據(jù)時代、萬物互聯(lián)時代、智能化時代等。筆者認(rèn)為,一直以來,其中除了硬件的發(fā)展,還有兩個關(guān)鍵因素同樣值得關(guān)注,一是數(shù)據(jù),其是基礎(chǔ)和目的;二是軟件,其是方法和工具。唯如此,才能實(shí)現(xiàn)在軟件生命周期即設(shè)計、開發(fā)、運(yùn)行、優(yōu)化,實(shí)現(xiàn)與大數(shù)據(jù)生命周期即獲取、清洗、集成、分析、呈現(xiàn)等的互動。[1]換言之,現(xiàn)在來說,就是大數(shù)據(jù)和軟件工程,二者助推了信息技術(shù)的發(fā)展,同時也是信息化的產(chǎn)物,在大數(shù)據(jù)時代背景下,研究軟件工程技術(shù)的應(yīng)用,對于經(jīng)濟(jì)社會的發(fā)展有著十分重要的意義。

1大數(shù)據(jù)和軟件工程簡述

1.1大數(shù)據(jù)簡述

沃爾瑪?shù)摹捌【婆c尿布”是眾所周知的大數(shù)據(jù)經(jīng)典案例,大數(shù)據(jù)已經(jīng)是當(dāng)今信息社會炙手可熱、耳熟能詳?shù)脑~匯,而且已形成共識,即人類已經(jīng)進(jìn)入大數(shù)據(jù)時代。上個世紀(jì)80年代初,《第三次浪潮》一書風(fēng)行全世界。該書作者美國社會思想家阿爾文托夫勒就在文中將人類社會發(fā)展劃分為三次浪潮,即以“農(nóng)業(yè)文明”為主導(dǎo)的第一次浪潮,以“工業(yè)文明”為主導(dǎo)的第二次浪潮,以“信息化”為主導(dǎo)第三次浪潮。[2]其中首次提出了“大數(shù)據(jù)”(BigData)一詞,并且,以“第三次浪潮的華彩樂章”這樣的用詞對其進(jìn)行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月了《大數(shù)據(jù):創(chuàng)新、競爭和生產(chǎn)力的下一個前沿》報告,公認(rèn)此報告宣告了大數(shù)據(jù)時代的到來。由于大數(shù)據(jù)概念的提出源于不斷的發(fā)展實(shí)踐,其本身并沒有嚴(yán)格、權(quán)威的定義。通常認(rèn)為,大數(shù)據(jù)的大即大數(shù)據(jù)集的規(guī)模一般應(yīng)達(dá)到10TB左右,現(xiàn)在已經(jīng)達(dá)到了PB級的數(shù)據(jù)量。維基百科稱“大數(shù)據(jù)”是這樣一個術(shù)語,即其是用以描述用傳統(tǒng)的數(shù)據(jù)處理應(yīng)用軟件無法完好處理的龐大的或者復(fù)雜的數(shù)據(jù)集。但“大數(shù)據(jù)”這一概念并不僅僅指數(shù)據(jù)規(guī)模的龐大,還包括對這些數(shù)據(jù)對象的處理以及應(yīng)用活動。IBM提出大數(shù)據(jù)通常具有“5V”特征:Volume(數(shù)據(jù)體量大)、Variety(數(shù)據(jù)類別多樣)、Velocity(處理速度快)、Veracity(數(shù)據(jù)真實(shí)性高)、Volume(數(shù)據(jù)價值高)。[4]大數(shù)據(jù)技術(shù)分類并分平行關(guān)系,而是呈縱向、層級狀結(jié)構(gòu),詳見圖1所示。

1.2軟件工程簡述

軟件工程本身并沒有嚴(yán)格、權(quán)威的定義。并且,也是直到20世紀(jì)60年代初才出現(xiàn)了“軟件”一詞,于此之前,更多的是程序的概念,后來人們認(rèn)識到與程序相關(guān)的文檔也有著相當(dāng)重要的作用,才有了“軟件”一詞的出現(xiàn)。軟件發(fā)展至今天,已經(jīng)遠(yuǎn)遠(yuǎn)不是程序個體或者程序員合作的方式能夠完成的,即使能夠完成,也會是效率低下、程序運(yùn)行可靠性差,或者說根本就無法完成。于是,在1968年召開的大西洋公約學(xué)術(shù)會議上提出了軟件工程的概念,簡單理解,就是以工程的方法來進(jìn)行軟件系統(tǒng)設(shè)計、開發(fā)、運(yùn)行、維護(hù)、優(yōu)化等技術(shù)的總和,進(jìn)一步言之,就是用“計算機(jī)科學(xué)、數(shù)學(xué)管理科學(xué)等原理,以工程化方法制作軟件的工程”,屬于一門交叉學(xué)科。[5]通常認(rèn)為其包含有四個要素:(1)軟件工程目標(biāo);(2)軟件工程范型;(3)軟件工程過程;(4)軟件工程原則。

2大數(shù)據(jù)與軟件工程的結(jié)合方式

宏觀上講,軟件工程是比大數(shù)據(jù)更為寬泛的概念,大數(shù)據(jù)的技術(shù)與應(yīng)用被軟件工程所涵攝。如圖1所示意,雖然大數(shù)據(jù)的各項(xiàng)技術(shù)與應(yīng)用屬于垂直領(lǐng)域,而軟件工程牽涉的是橫向領(lǐng)域,更加關(guān)注軟件產(chǎn)品及軟件系統(tǒng)工程上的實(shí)現(xiàn)及其管理。但是,大數(shù)據(jù)無論是其產(chǎn)品還是其系統(tǒng)的完成與落地,都離不開軟件工程方法論的支持。換言之,軟件工程的方法與技術(shù)貫穿于大數(shù)據(jù)的開發(fā)與應(yīng)用,大數(shù)據(jù)也只是在軟件工程發(fā)展過程中出現(xiàn)的概念。軟件工程開發(fā)具有綜合性,其應(yīng)用滲透于各個學(xué)科和領(lǐng)域,大數(shù)據(jù)的技術(shù)與應(yīng)用當(dāng)然是軟件工程所關(guān)注和研究的對象,或者說大數(shù)據(jù)技術(shù)的每一環(huán)節(jié)都離不開軟件工程的支持。大數(shù)據(jù)應(yīng)用的基礎(chǔ)是要依賴數(shù)據(jù)鏈條的完整性,采用相應(yīng)的算法于海量的數(shù)據(jù)中進(jìn)行規(guī)律分析,算法要依據(jù)相應(yīng)的實(shí)際環(huán)境進(jìn)行相應(yīng)的升級,遵循開發(fā)的基本原理,充分調(diào)整數(shù)據(jù)分布,從而在研究過程中將大數(shù)據(jù)技術(shù)與軟件工程方法結(jié)合起來。并在開放的環(huán)境中通過網(wǎng)絡(luò)與通信技術(shù)實(shí)現(xiàn)數(shù)據(jù)的共享,在此過程中,軟件技術(shù)和水平亦能得到進(jìn)一步的提高。在二者相互作用滲透的過程,軟件效率得到提高,軟件效益得以提升,從而實(shí)現(xiàn)客戶需求的最大化。在軟件開發(fā)過程中,還需要有必備的硬件和軟件的支撐,來支持相應(yīng)的數(shù)據(jù)流,隨著數(shù)據(jù)流的增長,對于硬件和軟件就會有更高的要求。工程技術(shù)人員在對數(shù)據(jù)流進(jìn)行分析研究的同時,專家學(xué)者還會對在線服務(wù)進(jìn)行研究。但是,數(shù)據(jù)流是重點(diǎn),包括對數(shù)據(jù)流的使用方法的研究,對支撐數(shù)據(jù)流的軟件和硬件的研究。另外,從軟件工程開發(fā)角度看,無論是在服務(wù)端還是在用戶端,軟件的運(yùn)行當(dāng)然會產(chǎn)生大量的數(shù)據(jù)流,都將產(chǎn)生大量的數(shù)據(jù)信息,這些數(shù)據(jù)流對于軟硬件的使用壽命有著決定性的影響。因此,在軟件工程的開發(fā)中,對于海量數(shù)據(jù)產(chǎn)生的環(huán)境下,更有必要做好數(shù)據(jù)流的管理,要高度重視數(shù)據(jù)流的分析研究,并且對于原始數(shù)據(jù)進(jìn)行深入的研究也應(yīng)該引起重視,以期延長軟件的使用周期。[6]

3大數(shù)據(jù)時代的軟件服務(wù)工程

軟件服務(wù)工程即所謂的面向服務(wù)的軟件工程,強(qiáng)調(diào)的是其相對于傳統(tǒng)軟件工程的擴(kuò)展。近些年來得到了很快的發(fā)展,已經(jīng)成為當(dāng)今時代的主流社會需求之一,服務(wù)功能已經(jīng)是軟件開發(fā)的基本原則。另一方面,也可以將其直觀理解為“軟件(Software)+服務(wù)(Service)+工程(Engineering)”三個方面的交叉融合,或者軟件工程與服務(wù)工程兩者的融合等。其內(nèi)涵可以理解為研究面向服務(wù)的軟件工程原則、軟件工程方法以及軟件工程技術(shù),同時利用相應(yīng)的軟件服務(wù)設(shè)施和平臺,開發(fā)較高水平的軟件服務(wù)系統(tǒng)。[7]軟件開發(fā)者根據(jù)需求變化,在社會實(shí)際實(shí)用中,以面向服務(wù)作為主要建設(shè)目標(biāo)。在開發(fā)的初期就要首先搭建好軟件的框架,充分利用編程語言、構(gòu)思好編程思路,確保開發(fā)軟件能夠提供可靠的服務(wù)應(yīng)用,保障軟件運(yùn)行時的穩(wěn)定與可靠。在實(shí)際的服務(wù)過程中,要求開發(fā)者運(yùn)用分布式應(yīng)用程序,以虛擬操作的方式提供用戶相應(yīng)的服務(wù)。在應(yīng)用中,融合大數(shù)據(jù)技術(shù),能夠?qū)崿F(xiàn)對數(shù)據(jù)進(jìn)行編程,達(dá)到軟件互操作的效果,并提高對數(shù)據(jù)的主動協(xié)調(diào)。軟件工程開發(fā)工程師可以對數(shù)據(jù)信息共享,實(shí)現(xiàn)各種學(xué)習(xí)交流,對軟件進(jìn)行協(xié)同開發(fā),并結(jié)合用戶的反饋,對軟件系統(tǒng)進(jìn)行優(yōu)化處理,提高軟件的性價比。近年來,開源軟件是較為成功的軟件習(xí)作模式,但是,其采用常規(guī)的研究方法,應(yīng)用價值還不是很高。與開源軟件相比,群體軟件工程屬于一種分布式軟件開發(fā)模型,能夠依靠網(wǎng)絡(luò)進(jìn)行任務(wù)分配,并能實(shí)現(xiàn)創(chuàng)造性的查詢,通過眾包形式的開發(fā),解決開發(fā)過程中的難題。并且,在整個開發(fā)過程中,眾包開發(fā)可以貫穿其全過程。所謂眾包,一如其字面含義,是一種分布式的生產(chǎn)開發(fā)模式和問題解決方案。通過該種方式,開源軟件和商業(yè)軟件均可通過網(wǎng)絡(luò)進(jìn)行任務(wù)和責(zé)任分配。[8]隨著我國計算機(jī)科學(xué)技術(shù)的不斷發(fā)展進(jìn)步,軟件工程技術(shù)也取得了長足發(fā)展,軟件服務(wù)工程也支持得到拓展和延伸。在大數(shù)據(jù)時代背景下,我們應(yīng)當(dāng)加快大數(shù)據(jù)技術(shù)和軟件工程技術(shù)的融合與創(chuàng)新,提升對海量網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程處理的能力,提高軟件的安全和效能,增強(qiáng)其穩(wěn)定性和可操作性,進(jìn)一步整合軟件工程系統(tǒng)的集成度。

4數(shù)據(jù)密集型科研第四范式

圖靈獎獲得者、關(guān)系數(shù)據(jù)庫研究專家詹姆士格雷(JamesGray)曾經(jīng)從科學(xué)哲學(xué)的層面將人類科學(xué)研究模式總結(jié)劃分為最初的實(shí)驗(yàn)科學(xué)階段,之后的理論科學(xué)階段,到通過模擬的方法進(jìn)行的計算科學(xué)三個階段,相對應(yīng)地稱之為科學(xué)研究的第一范式、第二范式、第三范式。但是伴隨著模擬連同實(shí)驗(yàn)所產(chǎn)生的海量的數(shù)據(jù),需要由軟件處理這些由各種儀器或者模擬實(shí)驗(yàn)產(chǎn)生的海量數(shù)據(jù),并將處理得到的信息和知識存儲于計算機(jī)中。之后,科研人員只需要對這些存儲于計算機(jī)中的少量數(shù)據(jù)進(jìn)行分析研究,不再是直接通過儀器或者模擬進(jìn)行研究。因而基于數(shù)據(jù)密集型科學(xué)研究獨(dú)特的技術(shù)以及其顯著的不同于以往研究的特點(diǎn),詹姆士格雷在2007于其科研報告中提出了將這種數(shù)據(jù)密集型的科學(xué)研究模式從計算機(jī)科學(xué)類型中單獨(dú)區(qū)分出來的思想,隨之產(chǎn)生了一種被稱之為第四范式的新的科研模式。該報告整理后題名“吉姆格雷論e-Science:一種科研模式的變革”,成為微軟于2009的年首次全面對數(shù)據(jù)密集型數(shù)據(jù)進(jìn)行描述的論文集《e-Science:科學(xué)研究的第四種范式》的開篇文章。[9]當(dāng)前,相當(dāng)多的計算機(jī)領(lǐng)域的專家學(xué)者對數(shù)據(jù)密集型科研第四范式予以了關(guān)注,并進(jìn)行了相應(yīng)的研究,探索出了相應(yīng)的方式方法,第四范式的研究被認(rèn)為是大數(shù)據(jù)時代背景下軟件工程技術(shù)研發(fā)的關(guān)鍵。信息化的發(fā)展與滲透,導(dǎo)致一切的事物都在隨之發(fā)生著變化。包括實(shí)驗(yàn)、理論分析和計算科學(xué)均在數(shù)據(jù)泛濫的影響下與之前大不相同,軟件工程技術(shù)既要適應(yīng)科研第四范式,又在其中扮演著更加重要的作用。傳統(tǒng)范式下的目的與探索之間不能夠很好地銜接,數(shù)據(jù)信息的應(yīng)用效率難以保障,難以滿足項(xiàng)目管理目標(biāo)的實(shí)現(xiàn)。數(shù)據(jù)密集型科研第四范式下的技術(shù)以及理論相關(guān)內(nèi)容,與大數(shù)據(jù)技術(shù)特別是其中的存儲技術(shù)有著緊密的關(guān)聯(lián)性,其待探索的空間和應(yīng)用價值相當(dāng)廣闊,其數(shù)據(jù)信息研發(fā)急需相應(yīng)的理論支撐,該范式下的軟件工程技術(shù)應(yīng)用模塊,亦能夠?qū)ζ渌妒较碌臄?shù)據(jù)信息進(jìn)行分析,對于更好地實(shí)現(xiàn)數(shù)據(jù)的存儲與處理,提升處理效率,有著重要的研究價值。在第四范式模式下,對集成密集型數(shù)據(jù)的軟件服務(wù)價值進(jìn)行評估是首要的,需要摒棄以往的數(shù)據(jù)統(tǒng)計方法,構(gòu)建新的針對大數(shù)據(jù)進(jìn)行信息統(tǒng)計和分析的方法,這對軟件工程技術(shù)的發(fā)展起著重要的作用。在軟件工程技術(shù)的研究中,應(yīng)當(dāng)更新傳統(tǒng)理念,重視其對大數(shù)據(jù)的處理和分析能力,使軟件產(chǎn)業(yè)呈現(xiàn)全新的面貌,從而亦能促進(jìn)其對大數(shù)據(jù)的數(shù)據(jù)分析能力。在第四范式的基礎(chǔ)上,亦能夠更好地支持第三范式,甚至于第一范式。該范式研究在我國軟件工程開發(fā)中還處于初級階段,軟件工程開發(fā)人員需在強(qiáng)化已有數(shù)據(jù)模型研究基礎(chǔ)上,加速由第三范式向第四范式的轉(zhuǎn)變,盡快實(shí)現(xiàn)其應(yīng)用層面的服務(wù)價值。

第4篇

1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)

大數(shù)據(jù)技術(shù)事實(shí)上是將人類日常生活中產(chǎn)生的各種數(shù)字信息,將這些信息收集起來之后分類處理,設(shè)定不同類別的存儲空間,按照類別存儲。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個類別,諸如分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、遺傳算法技術(shù)、自然語音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析,就是基于當(dāng)前的科學(xué)技術(shù)發(fā)展起來的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用,特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù),對數(shù)據(jù)信息進(jìn)行分類整理,應(yīng)用相應(yīng)的計算機(jī)算法,將相似特性的數(shù)據(jù)劃分為一類,最終得到大量的數(shù)據(jù),應(yīng)用大數(shù)據(jù)技術(shù)對這些數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中,所發(fā)揮的優(yōu)勢是有目共睹的,而且還不斷地引入新技術(shù),在軟件工程技術(shù)中應(yīng)用,對該技術(shù)的發(fā)展起到了促進(jìn)作用[1]。

大數(shù)據(jù)時代,社會各個領(lǐng)域都已經(jīng)實(shí)現(xiàn)了信息化發(fā)展,人們對軟件工程的概念越來越熟悉。事實(shí)上,軟件工程的歷史始于20世紀(jì)的中期,其研究重點(diǎn)是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中,使得工程系統(tǒng)化運(yùn)行,其中所涵蓋的研究內(nèi)容包括軟件的生命周期、軟件工程設(shè)計、軟件的技術(shù)維護(hù)等方面。因此,在軟件設(shè)計的過程中,要控制好技術(shù)開發(fā)成本,保證工程質(zhì)量,使其生命周期不斷延長,不同項(xiàng)目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。

2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)

處于大數(shù)據(jù)時代環(huán)境中,軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域,需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點(diǎn),還具有很強(qiáng)的實(shí)用性價值。在軟件工程技術(shù)的研究中,要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù),對于傳統(tǒng)的技術(shù)要不斷摒棄,對軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下,軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來的,對各種數(shù)據(jù)信息系統(tǒng)化管理,根據(jù)需要進(jìn)行處理,對工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中,大數(shù)據(jù)的安全性問題是需要高度重視的,否則,就會對軟件工程技術(shù)造成不良影響,引起嚴(yán)重的后果。

2.1軟件服務(wù)工程

在軟件工程的研究范疇中,軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展,就是發(fā)揮服務(wù)的作用,使其成為軟件開發(fā)的基本原則,按照服務(wù)項(xiàng)目內(nèi)容為用戶展開服務(wù)。由于軟件工程發(fā)展的主題有所,服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整,同城是對軟件工程的進(jìn)行技術(shù)維護(hù)。在具體的服務(wù)工作中,需要軟件開發(fā)人員使用分布式應(yīng)用程序,在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中,結(jié)合使用大數(shù)據(jù)技術(shù),可以對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程,使得軟件具有互操作性,對于數(shù)據(jù)主動協(xié)調(diào),使其符合動態(tài)場景的變化節(jié)奏,軟件系統(tǒng)的集成度有所提高。

2.2軟件開源

軟件開源更為注重用戶對軟件技術(shù)的體驗(yàn)。在對軟件開源進(jìn)行研究的過程中,采用常規(guī)的方法,雖然獲得一定的成果,但是應(yīng)用價值不是很高。一些研究人員在研究軟件工程技術(shù)的時候,就是將軟件開源作為突破口,將開發(fā)項(xiàng)目劃分為多個模塊,將每個模塊分給指定的研究人員進(jìn)行開發(fā)。

2.3群體軟件工程

群體軟件工程是通過網(wǎng)絡(luò)的方式進(jìn)行軟件開發(fā),具體的實(shí)施中采用工程眾包的形式,使得軟件開發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個分布式軟件開發(fā)模型,這個工程項(xiàng)目的運(yùn)行中,可以通過網(wǎng)絡(luò)實(shí)現(xiàn),對各項(xiàng)任務(wù)進(jìn)行分配,也可以進(jìn)行創(chuàng)造性的查詢,通過眾包解決軟件開發(fā)過程中遇到的一些困難和重要問題。同時,在軟件工程開發(fā)過程中,軟件工程可以在任何階段通過眾包進(jìn)行開發(fā)[4]。

3大數(shù)據(jù)與軟件工程技術(shù)的未來發(fā)展方向

3.1大數(shù)據(jù)與軟件工程技術(shù)開放式的發(fā)展

大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流,需要技術(shù)不斷地升級和創(chuàng)新,尋求開發(fā)的研究途徑是非常必要的。計算機(jī)網(wǎng)絡(luò)的發(fā)展意味著計算機(jī)可以在開放的環(huán)境中相互通信,共享數(shù)據(jù)資源,軟件等信息的有效利用能力也會有所提升。通過網(wǎng)絡(luò)運(yùn)行可以增加利潤,使得用戶的各種需求得到滿足,提高資源的利用率。

3.2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域

軟件工程技術(shù)在當(dāng)今許多科學(xué)領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個領(lǐng)域非常大的幫助,從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運(yùn)行,可以使用數(shù)據(jù)平臺對信息進(jìn)行收集并分析。比如,用戶在進(jìn)行股票交易的過程中應(yīng)用大數(shù)據(jù)技術(shù),可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型,通過對數(shù)據(jù)模型的分析,預(yù)測股票的變化趨勢。

4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)

在軟件開發(fā)過程中,必須有足夠的硬件和軟件基礎(chǔ)來支持?jǐn)?shù)據(jù)流,隨著數(shù)據(jù)流的量逐漸增多,對硬件和軟件就有了新的要求。專家學(xué)者在分析數(shù)據(jù)流的時候,還對在線服務(wù)進(jìn)行了研究。數(shù)據(jù)流是重點(diǎn)內(nèi)容,主要是對數(shù)據(jù)流的使用方法進(jìn)行研究,對支撐數(shù)據(jù)流的軟件和硬件進(jìn)行研究[6]。從軟件工程開發(fā)的角度而言,軟件運(yùn)行中都會產(chǎn)生大量的數(shù)據(jù)流,包括服務(wù)端、用戶端等,都會有很多的數(shù)據(jù)信息產(chǎn)生,這些數(shù)據(jù)流對軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發(fā)中,要做好數(shù)據(jù)流的管理工作。有必要對原始數(shù)據(jù)進(jìn)行深入的研究,為提高軟件的使用壽命創(chuàng)造條件,對數(shù)據(jù)流的分析要高度重視[7]。

5密集型數(shù)據(jù)科研第四范式

第四種科學(xué)研究范式是指根據(jù)實(shí)際情況建立獨(dú)立的科學(xué)研究方法,探索第四種范式的理論基礎(chǔ),以及大型數(shù)據(jù)存儲設(shè)備在發(fā)展中的重要性。軟件工程中,采用傳統(tǒng)的大數(shù)據(jù)研究方法,大數(shù)據(jù)的有效分析是不可能的,大數(shù)據(jù)的研究還沒有取得突破性的成果。因此,目前大多數(shù)軟件不能在短時間內(nèi)同時實(shí)現(xiàn)數(shù)據(jù)信息的存儲、數(shù)據(jù)信息的傳輸和有效識別。在探索第四范式理論和研究方法的過程中,首先需要對集成大數(shù)據(jù)的軟件服務(wù)價值進(jìn)行估計,拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計方法,建立新的大數(shù)據(jù)信息統(tǒng)計方法和分析方法[8]。此外,有必要從多個方面研究大數(shù)據(jù)的處理,對大數(shù)據(jù)信息進(jìn)行管理并深入分析,討論大數(shù)據(jù)的價值以及存在的可變性,這對軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時候,必須更新傳統(tǒng)的軟件開發(fā)理念,重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展,使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。

在當(dāng)今大數(shù)據(jù)時代,軟件工程技術(shù)的研究已經(jīng)區(qū)域復(fù)雜。隨著數(shù)據(jù)的指數(shù)的不斷增長,軟件技術(shù)對硬件設(shè)備數(shù)據(jù)處理能力產(chǎn)生一定的影響。因此,在對軟件工程技術(shù)的研究中,就需要對大數(shù)據(jù)技術(shù)的特點(diǎn)進(jìn)行研究,基于此研究軟件工程技術(shù),使得硬件設(shè)備的數(shù)據(jù)處理能力有所提高。在研發(fā)開發(fā)軟件技術(shù)的過程中,要從應(yīng)用領(lǐng)域的需求出發(fā)對大數(shù)據(jù)技術(shù)進(jìn)行分析,在大數(shù)據(jù)開發(fā)理論的基礎(chǔ)上創(chuàng)新軟件開發(fā)理論,促進(jìn)軟件技術(shù)更好地發(fā)展。

參考文獻(xiàn)

第5篇

關(guān)鍵詞:大數(shù)據(jù)技術(shù);大數(shù)據(jù)管理模塊組成技術(shù);技術(shù)分析;分支技術(shù)探析

自從我國各領(lǐng)域?qū)Υ髷?shù)據(jù)技術(shù)產(chǎn)生應(yīng)用需求之后,已有多個企業(yè)并計算機(jī)技術(shù)開發(fā)應(yīng)用領(lǐng)域人員開始對多個情境下的大數(shù)據(jù)技術(shù)的需求、應(yīng)用以及發(fā)展做出了應(yīng)有的貢獻(xiàn)。在大數(shù)據(jù)技術(shù)日趨成熟之際,人們對大數(shù)據(jù)的認(rèn)知成熟度需要得到普遍提升,而計算機(jī)技術(shù)領(lǐng)域的專業(yè)人員也需要站在專業(yè)角度,對大數(shù)據(jù)技術(shù)的構(gòu)成進(jìn)行深入了解。這不僅對大數(shù)據(jù)技術(shù)的普及應(yīng)用和持續(xù)發(fā)展有益,更對各領(lǐng)域的個人發(fā)展、順應(yīng)時代潮流以及個人的專業(yè)素養(yǎng)提升有極大幫助意義。本文中筆者結(jié)合自身對于大數(shù)據(jù)相關(guān)技術(shù)的正確認(rèn)知,對大數(shù)據(jù)技術(shù)發(fā)展認(rèn)識基礎(chǔ)上的分支技術(shù)體系展開深入討論。

1基于分布式大數(shù)據(jù)管理模塊構(gòu)成的技術(shù)探究

我們在深入挖掘大數(shù)據(jù)技術(shù)對其進(jìn)行了解之前,首先要了解它主要需要解決什么問題,以及能夠解決什么問題。一方面,在大數(shù)據(jù)技術(shù)出現(xiàn)之前,IT行業(yè)各類技術(shù)發(fā)展速度不是很快,系統(tǒng)化應(yīng)用過程中的各類軟件框架體系也足夠完善,普通的單個服務(wù)器為基礎(chǔ)平臺的數(shù)據(jù)庫之計算能力,也足夠支撐各類系統(tǒng)計算業(yè)務(wù)。但隨著各行業(yè)數(shù)據(jù)越來越多,單機(jī)計算能力上限已經(jīng)被多個行業(yè)的計算軟件“觸頂”。在這種情況下,大數(shù)據(jù)管理模塊技術(shù)開始被人們所關(guān)注,下面分析支持它進(jìn)行計算的細(xì)分技術(shù)。首先,在大量數(shù)據(jù)儲存方面,HDFS的分布式儲存可以解決數(shù)據(jù)儲存的困難。它可以讓多個主機(jī)對同一任務(wù)進(jìn)行同時計算。那么,它的實(shí)現(xiàn)需要周邊便衍生了許多與管理和緩存有關(guān)的技術(shù)。包括:“yarn”技術(shù)可以在程序開發(fā)中幫助人解決資源難資源調(diào)節(jié)難題;“flume”可以幫助解決傳輸數(shù)據(jù)的問題;“sqoop”可以轉(zhuǎn)換分布式儲存數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)庫之間的數(shù)據(jù);“oozie”可以幫助業(yè)務(wù)程序資源調(diào)節(jié)計算任務(wù);“kafka”則提供了訂閱機(jī)制的消息隊(duì)列;“zookeeper”可以有效地幫助用戶快速完成對主備服務(wù)的選擇;“hive”在HDFS的基礎(chǔ)上提供了數(shù)倉的功能?!癶base”基“hdf”來實(shí)現(xiàn)一個列式數(shù)據(jù)庫。然后從數(shù)據(jù)處理過程來看,對于數(shù)據(jù)庫計算技術(shù)方面的大數(shù)據(jù)相關(guān)技術(shù)應(yīng)用,是在普通數(shù)據(jù)庫技術(shù)存在和被應(yīng)用基礎(chǔ)上對計算業(yè)務(wù)進(jìn)行邏輯處理的過程。對于單一的業(yè)務(wù)處理,可以通過編寫健壯的代碼進(jìn)行定時的任務(wù)進(jìn)行相應(yīng)數(shù)據(jù)的結(jié)算。若業(yè)務(wù)冗雜,需要定時獲取多種數(shù)據(jù)采集分析,則通過代碼實(shí)現(xiàn)各個JOB維護(hù)成本太高。在“Hadoop2.0”完美解決該問題,采用HQL自動生成數(shù)據(jù)的mapreduce任務(wù)基礎(chǔ)上,多個領(lǐng)域的項(xiàng)目實(shí)踐過程中,就會出現(xiàn)多個reduce任務(wù)就會被批量刪除掉的情況。因此,Hadoop技術(shù)正在走在被淘汰的路上。那么,Hadoop現(xiàn)在是一個可以用硬件集群上進(jìn)行大規(guī)模數(shù)據(jù)處理的優(yōu)秀工具,但是若開發(fā)人員需要處理動態(tài)數(shù)據(jù)集、點(diǎn)對點(diǎn)分析多進(jìn)程數(shù)據(jù),那么Google已經(jīng)為我們展示了大大優(yōu)于MapReduce范型的技術(shù)選擇。因此毫無疑問,Percolator、Dremel和Pregel將成為大數(shù)據(jù)技術(shù)未來發(fā)展的主流技術(shù)。

2支撐大數(shù)據(jù)管理模塊組成的各類技術(shù)詳析

為了能夠更好地架構(gòu)大數(shù)據(jù)項(xiàng)目,技術(shù)人員、項(xiàng)目經(jīng)理、架構(gòu)師等大數(shù)據(jù)管理模塊開發(fā)流程中不同角色人員為了選擇合適的技術(shù),必須了解大數(shù)據(jù)各種技術(shù)之間的關(guān)系,以便選擇合適的語言,實(shí)現(xiàn)相應(yīng)的功能。那么,筆者在下面對幾點(diǎn)中提到的大數(shù)據(jù)分支技術(shù)進(jìn)行詳細(xì)分析。

2.1HDFS技術(shù)

與普通編程語言應(yīng)用編寫系統(tǒng)相比,HDFS主要改革在數(shù)據(jù)儲存形式方面,HDFS即Hadoop是以流式的數(shù)據(jù)查找和提取模式對文件型數(shù)據(jù)進(jìn)行規(guī)?;瘍Υ?,而且大數(shù)據(jù)管理模塊應(yīng)用中的數(shù)據(jù)通常是占用內(nèi)存過大的單元數(shù)據(jù),HDFS運(yùn)行于多個主機(jī)集群中,屬于是管理網(wǎng)絡(luò)中跨多臺及其進(jìn)行數(shù)據(jù)儲存的文件系統(tǒng)支撐基礎(chǔ)。我們從HDFS技術(shù)應(yīng)用的過程來分析使用數(shù)據(jù)塊的益處:在程序運(yùn)行過程中,HDFS上的文件會被劃成64MB大的多個分塊,每一個數(shù)據(jù)塊都可以存儲不同的數(shù)據(jù)。文件型數(shù)據(jù)塊不需要儲存在同一個磁盤上,因此它們可以利用集群上的任意一個磁盤實(shí)現(xiàn)存儲。所以這從根本上大幅提升了大量數(shù)據(jù)管理的效率。而HDFS技術(shù)也可以提高系統(tǒng)中對數(shù)據(jù)儲存的容錯力。在業(yè)務(wù)處理方面HDFS的優(yōu)點(diǎn)更為明顯:HDFS的應(yīng)用可以做到簡化儲存子系統(tǒng)的設(shè)計,將每個服務(wù)器的儲存子系統(tǒng)控制單元設(shè)置為“塊”,因此可實(shí)現(xiàn)簡化儲存管理,用一個單獨(dú)的系統(tǒng)就可以管理這些塊的元數(shù)據(jù),這就大幅減輕了服務(wù)器的數(shù)據(jù)管理壓力。

2.2yarn技術(shù)

Hadoop集群管理員希望能根據(jù)不同的業(yè)務(wù)組或不同的用戶對集群yarn作業(yè)的資源進(jìn)行控制,也就是對yarn的資源池進(jìn)行劃分,達(dá)到資源管控、任務(wù)管控的效果。yarn技術(shù)管理分配資源細(xì)節(jié)如下:yarn默許提供了多種資源分配的策略,用于分配的資源可以是節(jié)點(diǎn)的數(shù)量、內(nèi)存的大小、CPU核數(shù),它主要將MP1中JobTracker的資源管理和作業(yè)資源調(diào)節(jié)兩個功能分散,分別由ResourceManager和ApplicationMaster進(jìn)程來實(shí)現(xiàn)管理,以負(fù)責(zé)整個集群的資源管理和資源調(diào)度,并負(fù)責(zé)處理應(yīng)用程序提出的事件,比如調(diào)節(jié)任務(wù)及數(shù)據(jù)資源、監(jiān)視運(yùn)行任務(wù)情況和出錯信息等,具體作用體現(xiàn)在“模塊提交作業(yè)”“初始化作業(yè)”“分配任務(wù)和運(yùn)行”“更新模塊運(yùn)行相關(guān)數(shù)據(jù)”等方面。而Flume可以通過運(yùn)行可靠的服務(wù)模塊,用于有效地收集和移動日志數(shù)據(jù),使用簡單的可擴(kuò)展數(shù)據(jù)模型,被允許收集日志數(shù)據(jù),導(dǎo)進(jìn)到HDFS中并實(shí)現(xiàn)在線分析應(yīng)用程序。因此,HDFS是Hadoop應(yīng)用程序中主要的分布式儲存系統(tǒng)。

2.3sqoop技術(shù)

sqoop解決了分布式寄存數(shù)據(jù)與普通數(shù)據(jù)之間的轉(zhuǎn)換。它屬于可以將Hadoop和關(guān)系型數(shù)據(jù)庫之間實(shí)現(xiàn)數(shù)據(jù)導(dǎo)進(jìn)導(dǎo)出的工具型技術(shù)。它可以通過sqoop把數(shù)據(jù)從普通數(shù)據(jù)庫,包括Mysql數(shù)據(jù)庫和Oracle數(shù)據(jù)庫中導(dǎo)進(jìn)到HDFS中,反之亦可。sqoop通過Hadoop的MapReduce導(dǎo)進(jìn)導(dǎo)出數(shù)據(jù)庫中的數(shù)據(jù),因此它提供了很高的并行優(yōu)勢以及良好的容錯性。通過sqoop技術(shù)的應(yīng)用,開發(fā)大數(shù)據(jù)管理模塊的人員可以將數(shù)據(jù)從普通數(shù)據(jù)庫中導(dǎo)出,并導(dǎo)進(jìn)到HDFS中。導(dǎo)進(jìn)到HDFS的數(shù)據(jù)形式為數(shù)據(jù)庫表、查詢結(jié)果,以及從HDFS中導(dǎo)出的文件形式則是數(shù)據(jù)庫表或者集合類型的文件。在HDFS導(dǎo)進(jìn)數(shù)據(jù)的多個進(jìn)程可以并發(fā)運(yùn)行,這時的輸出的可以是多個文件輸出結(jié)果。這些文件可能是標(biāo)準(zhǔn)的文本文件,也可以是Avro或者SequeenceFiles的記錄文件??偨Y(jié)來說,sqoop是可以在大數(shù)據(jù)系統(tǒng)運(yùn)行模塊中將db數(shù)據(jù)與hadoop之間交換數(shù)據(jù),而將其應(yīng)用于系統(tǒng)開發(fā)過程中,則需要開發(fā)人員參照較為冗雜的使用文檔。在優(yōu)點(diǎn)顯著的同時,sqoop也有些許缺點(diǎn)。因?yàn)閔base技術(shù)顯然采用的是基于HDFS為核心的列式數(shù)據(jù)庫存儲數(shù)據(jù)的形式,是多種分布式、可以擴(kuò)展的大數(shù)據(jù)儲存方式,它能夠?yàn)楦鞣N大數(shù)據(jù)集上隨機(jī)和及時的閱讀、寫數(shù)據(jù)進(jìn)行訪問功能,并且能夠?qū)崿F(xiàn)分布式的列型數(shù)據(jù)儲存,能快速地索引查詢數(shù)據(jù)。較其他普通的數(shù)據(jù)庫處理技術(shù)而言,hbase對于寫入的時間更為隨意,因此hbase總會有很多超時的現(xiàn)象,這成為了許多開發(fā)者在程序開發(fā)后的運(yùn)行測試中的詬病。因此,此項(xiàng)技術(shù)目前仍然正在進(jìn)行持續(xù)的優(yōu)化。最后是接收數(shù)據(jù)的“Hive”技術(shù)應(yīng)用模塊,acheHive提供完整的HiveQL查詢功能之外,還是一個數(shù)據(jù)倉庫系統(tǒng)。而zookeeper可以實(shí)現(xiàn)類似“主從后臺事件列序”“分配事件”“協(xié)調(diào)負(fù)載”等多種功能。

2.4Oozie的應(yīng)用特點(diǎn)和優(yōu)點(diǎn)

Oozie是用于Hadoop平臺開源的技術(shù),用工作流資源調(diào)節(jié)引擎,用來管理Hadoop作業(yè),它是屬于Web應(yīng)用程序。因?yàn)镺ozie的工作流必須在一個有固定流程的無環(huán)結(jié)構(gòu)中,所以,使用Oozie時,若前一個任務(wù)執(zhí)行失敗,后一個任務(wù)將不會被資源調(diào)節(jié)。優(yōu)點(diǎn)是當(dāng)用戶需要執(zhí)行多個關(guān)聯(lián)的MR任務(wù)時,只需要將MR執(zhí)行順序?qū)懭雡orkflow.xml文件,然后使用Oozie提交本次任務(wù),Oozie會托管此任務(wù)流。而Oozie對工作流的指定,與JbossjBPM提供的jPDL一樣,提供了類似的流程定義語言hP?DL,它可以利用XML文件格式來定義流程。對于工作流系統(tǒng),一般會有很多不同功能的節(jié)點(diǎn),比如分支,并發(fā)等等。Oozie的控制流節(jié)點(diǎn)和動作節(jié)點(diǎn)可以讓開發(fā)者定義流程的開始與結(jié)束,并能夠以及控制流程和定位具體數(shù)據(jù)地址。

2.5Kafka的特點(diǎn)和應(yīng)用優(yōu)點(diǎn)

Kafka可以用于即時構(gòu)建數(shù)據(jù)流傳輸程序以及流式數(shù)據(jù)處理、應(yīng)用程序。它具有水平可擴(kuò)展性、容錯性、速度極快的特點(diǎn)。此外,它的運(yùn)行過程具備三個特點(diǎn):“消息”“持久化”“流處理”。客戶端服務(wù)器通過使用TCP協(xié)議進(jìn)行模塊間的數(shù)據(jù)交互,具體的數(shù)據(jù)流的寫入過程則有支持多種語言的特征,此外,它還支持主題和日志功能,一個主題可以有零個、一個或多個用戶寫入數(shù)據(jù)。對于每個主題,Kafka可以維護(hù)一個模塊日志,每一個分區(qū)都成為一個有序且不可變的記錄序列,不斷添加到結(jié)構(gòu)化的提交日志中,這使得Kafka技術(shù)應(yīng)用有“用戶在應(yīng)用程序過程別容易使用”的特點(diǎn)。

3大數(shù)據(jù)管理模塊技術(shù)成熟之上的應(yīng)用領(lǐng)域

嚴(yán)格意義上講,大數(shù)據(jù)技術(shù)是數(shù)據(jù)分析的前沿技術(shù),那么,從大量、各類的數(shù)據(jù)中,及時獲取有價值的信息的技術(shù)應(yīng)用,就是大數(shù)據(jù)技術(shù)得到發(fā)展的緣由和最終意義,對于大數(shù)據(jù)技術(shù)在實(shí)際生產(chǎn)和生活中的應(yīng)用領(lǐng)域大致分為以下幾個方面:第一,移動互聯(lián)網(wǎng)出現(xiàn)后,為了提升移動設(shè)備用戶的用體驗(yàn),在移動設(shè)備的用戶點(diǎn)擊行為數(shù)據(jù)記錄過程中,應(yīng)用到了大數(shù)據(jù)技術(shù)。第二,在數(shù)據(jù)記錄、保存方面,大數(shù)據(jù)技術(shù)在音樂文件保存、視頻資料保存、監(jiān)控錄像數(shù)據(jù)保存方面對大數(shù)據(jù)技術(shù)進(jìn)行了應(yīng)用。第三,在交通方面,如百度、高德、Google等電子地圖為了人們出現(xiàn)更加便利,在應(yīng)用大數(shù)據(jù)技術(shù)過程中同樣利用大數(shù)據(jù)技術(shù)挖掘并提取、計算了大量有價值的信息。第四,隨著移動設(shè)備的加入,人們的社交行為產(chǎn)生了大量的數(shù)據(jù),這為人們生活環(huán)境安全性的鞏固促進(jìn)了大數(shù)據(jù)技術(shù)發(fā)展。第五,人們使用搜索引擎搜索數(shù)據(jù)期間,搜索引擎為向用戶提供更多有價值的信息,應(yīng)用了大數(shù)據(jù)技術(shù)。

4結(jié)束語

綜上所述,對于大數(shù)據(jù)技術(shù)的成熟的認(rèn)識,要從大數(shù)據(jù)技術(shù)應(yīng)用過程以及解決問題過程中應(yīng)用的不同技術(shù)展開分析,這不僅能讓我們在當(dāng)下社會跟上IT行業(yè)發(fā)展的步伐,更能減輕我們學(xué)習(xí)、實(shí)踐、應(yīng)用大數(shù)據(jù)技術(shù)過程中的恐懼心理和畏難情緒,助力我們的專業(yè)能力步步高升。

參考文獻(xiàn):

[1]彭宇,龐景月,劉大同,等.大數(shù)據(jù):內(nèi)涵、技術(shù)體系與展望[J].電子測量與儀器學(xué)報,2015,29(4):469-482.

第6篇

關(guān)鍵詞:大數(shù)據(jù):軟件工程技術(shù):數(shù)據(jù)分析

1大數(shù)據(jù)技術(shù)和軟件工程技術(shù)

大數(shù)據(jù)技術(shù)事實(shí)上是將人類日常生活中產(chǎn)生的各種數(shù)字信息,將這些信息收集起來之后分類處理,設(shè)定不同類別的存儲空間,按照類別存儲。大數(shù)據(jù)技術(shù)從功能的角度出發(fā)可以劃分為多個類別,諸如分析技術(shù)、機(jī)器學(xué)習(xí)技術(shù)、遺傳算法技術(shù)、自然語音處理技術(shù)等。應(yīng)用大數(shù)據(jù)技術(shù)分析,就是基于當(dāng)前的科學(xué)技術(shù)發(fā)展起來的一種分析技術(shù)。它主要依靠現(xiàn)代科技手段發(fā)揮技術(shù)的作用,特別網(wǎng)絡(luò)技術(shù)發(fā)揮著基礎(chǔ)性的作用。整理基礎(chǔ)數(shù)據(jù),對數(shù)據(jù)信息進(jìn)行分類整理,應(yīng)用相應(yīng)的計算機(jī)算法,將相似特性的數(shù)據(jù)劃分為一類,最終得到大量的數(shù)據(jù),應(yīng)用大數(shù)據(jù)技術(shù)對這些數(shù)據(jù)進(jìn)行分析。大數(shù)據(jù)分析應(yīng)用于互聯(lián)網(wǎng)行業(yè)中,所發(fā)揮的優(yōu)勢是有目共睹的,而且還不斷地引入新技術(shù),在軟件工程技術(shù)中應(yīng)用,對該技術(shù)的發(fā)展起到了促進(jìn)作用[1]。大數(shù)據(jù)時代,社會各個領(lǐng)域都已經(jīng)實(shí)現(xiàn)了信息化發(fā)展,人們對軟件工程的概念越來越熟悉。事實(shí)上,軟件工程的歷史始于20世紀(jì)的中期,其研究重點(diǎn)是軟件技術(shù)和工程管理。將相關(guān)工程內(nèi)容引入其中,使得工程系統(tǒng)化運(yùn)行,其中所涵蓋的研究內(nèi)容包括軟件的生命周期、軟件工程設(shè)計、軟件的技術(shù)維護(hù)等方面。因此,在軟件設(shè)計的過程中,要控制好技術(shù)開發(fā)成本,保證工程質(zhì)量,使其生命周期不斷延長,不同項(xiàng)目的技術(shù)需求和用戶的各種技術(shù)需求都能夠得到滿足。

2大數(shù)據(jù)背景下的軟件工程基礎(chǔ)

處于大數(shù)據(jù)時代環(huán)境中,軟件工程的發(fā)展中關(guān)乎到不同的領(lǐng)域,需要高度重視。大數(shù)據(jù)技術(shù)具有專業(yè)性的特點(diǎn),還具有很強(qiáng)的實(shí)用性價值。在軟件工程技術(shù)的研究中,要從應(yīng)用需求出發(fā)不斷創(chuàng)新軟件技術(shù),對于傳統(tǒng)的技術(shù)要不斷摒棄,對軟件工程的發(fā)展創(chuàng)造良好的客觀條件。大數(shù)據(jù)技術(shù)環(huán)境下,軟件工程基礎(chǔ)是基于互聯(lián)網(wǎng)技術(shù)建立起來的,對各種數(shù)據(jù)信息系統(tǒng)化管理,根據(jù)需要進(jìn)行處理,對工業(yè)的發(fā)展非常有利[2]。在軟件工程技術(shù)中,大數(shù)據(jù)的安全性問題是需要高度重視的,否則,就會對軟件工程技術(shù)造成不良影響,引起嚴(yán)重的后果。

2.1軟件服務(wù)工程

在軟件工程的研究范疇中,軟件服務(wù)工程的數(shù)量不斷增多。軟件工程服務(wù)化方向發(fā)展,就是發(fā)揮服務(wù)的作用,使其成為軟件開發(fā)的基本原則,按照服務(wù)項(xiàng)目內(nèi)容為用戶展開服務(wù)。由于軟件工程發(fā)展的主題有所,服務(wù)內(nèi)容也要做出相應(yīng)的調(diào)整,同城是對軟件工程的進(jìn)行技術(shù)維護(hù)。在具體的服務(wù)工作中,需要軟件開發(fā)人員使用分布式應(yīng)用程序,在管理工作中采用虛擬操作的方法為用戶2019.08提供服務(wù)[3]。軟件工程技術(shù)應(yīng)用中,結(jié)合使用大數(shù)據(jù)技術(shù),可以對網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行編程,使得軟件具有互操作性,對于數(shù)據(jù)主動協(xié)調(diào),使其符合動態(tài)場景的變化節(jié)奏,軟件系統(tǒng)的集成度有所提高。

2.2軟件開源

軟件開源更為注重用戶對軟件技術(shù)的體驗(yàn)。在對軟件開源進(jìn)行研究的過程中,采用常規(guī)的方法,雖然獲得一定的成果,但是應(yīng)用價值不是很高。一些研究人員在研究軟件工程技術(shù)的時候,就是將軟件開源作為突破口,將開發(fā)項(xiàng)目劃分為多個模塊,將每個模塊分給指定的研究人員進(jìn)行開發(fā)。

2.3群體軟件工程

群體軟件工程是通過網(wǎng)絡(luò)的方式進(jìn)行軟件開發(fā),具體的實(shí)施中采用工程眾包的形式,使得軟件開發(fā)技術(shù)發(fā)揮作用。群體軟件工程是一個分布式軟件開發(fā)模型,這個工程項(xiàng)目的運(yùn)行中,可以通過網(wǎng)絡(luò)實(shí)現(xiàn),對各項(xiàng)任務(wù)進(jìn)行分配,也可以進(jìn)行創(chuàng)造性的查詢,通過眾包解決軟件開發(fā)過程中遇到的一些困難和重要問題。同時,在軟件工程開發(fā)過程中,軟件工程可以在任何階段通過眾包進(jìn)行開發(fā)[4]。

3大數(shù)據(jù)與軟件工程技術(shù)的未來發(fā)展方向

3.1大數(shù)據(jù)與軟件工程技術(shù)開放式的發(fā)展

大數(shù)據(jù)技術(shù)的主要前提是大量的數(shù)據(jù)流,需要技術(shù)不斷地升級和創(chuàng)新,尋求開發(fā)的研究途徑是非常必要的。計算機(jī)網(wǎng)絡(luò)的發(fā)展意味著計算機(jī)可以在開放的環(huán)境中相互通信,共享數(shù)據(jù)資源,軟件等信息的有效利用能力也會有所提升。通過網(wǎng)絡(luò)運(yùn)行可以增加利潤,使得用戶的各種需求得到滿足,提高資源的利用率。

3.2大數(shù)據(jù)與軟件工程技術(shù)融合到其他領(lǐng)域

軟件工程技術(shù)在當(dāng)今許多科學(xué)領(lǐng)域有著廣泛的應(yīng)用。由于軟件工程技術(shù)給予各個領(lǐng)域非常大的幫助,從航空到生活中都發(fā)揮著軟件工程技術(shù)的作用[5]。應(yīng)用程序的運(yùn)行,可以使用數(shù)據(jù)平臺對信息進(jìn)行收集并分析。比如,用戶在進(jìn)行股票交易的過程中應(yīng)用大數(shù)據(jù)技術(shù),可以使用軟件工程技術(shù)構(gòu)建數(shù)據(jù)模型,通過對數(shù)據(jù)模型的分析,預(yù)測股票的變化趨勢。

4眾包軟件服務(wù)工程中的大數(shù)據(jù)技術(shù)

在軟件開發(fā)過程中,必須有足夠的硬件和軟件基礎(chǔ)來支持?jǐn)?shù)據(jù)流,隨著數(shù)據(jù)流的量逐漸增多,對硬件和軟件就有了新的要求。專家學(xué)者在分析數(shù)據(jù)流的時候,還對在線服務(wù)進(jìn)行了研究。數(shù)據(jù)流是重點(diǎn)內(nèi)容,主要是對數(shù)據(jù)流的使用方法進(jìn)行研究,對支撐數(shù)據(jù)流的軟件和硬件進(jìn)行研究[6]。從軟件工程開發(fā)的角度而言,軟件運(yùn)行中都會產(chǎn)生大量的數(shù)據(jù)流,包括服務(wù)端、用戶端等,都會有很多的數(shù)據(jù)信息產(chǎn)生,這些數(shù)據(jù)流對軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發(fā)中,要做好數(shù)據(jù)流的管理工作。有必要對原始數(shù)據(jù)進(jìn)行深入的研究,為提高軟件的使用壽命創(chuàng)造條件,對數(shù)據(jù)流的分析要高度重視[7]。

5密集型數(shù)據(jù)科研第四范式

第四種科學(xué)研究范式是指根據(jù)實(shí)際情況建立獨(dú)立的科學(xué)研究方法,探索第四種范式的理論基礎(chǔ),以及大型數(shù)據(jù)存儲設(shè)備在發(fā)展中的重要性。軟件工程中,采用傳統(tǒng)的大數(shù)據(jù)研究方法,大數(shù)據(jù)的有效分析是不可能的,大數(shù)據(jù)的研究還沒有取得突破性的成果。因此,目前大多數(shù)軟件不能在短時間內(nèi)同時實(shí)現(xiàn)數(shù)據(jù)信息的存儲、數(shù)據(jù)信息的傳輸和有效識別。在探索第四范式理論和研究方法的過程中,首先需要對集成大數(shù)據(jù)的軟件服務(wù)價值進(jìn)行估計,拋棄傳統(tǒng)的大數(shù)據(jù)統(tǒng)計方法,建立新的大數(shù)據(jù)信息統(tǒng)計方法和分析方法[8]。此外,有必要從多個方面研究大數(shù)據(jù)的處理,對大數(shù)據(jù)信息進(jìn)行管理并深入分析,討論大數(shù)據(jù)的價值以及存在的可變性,這對軟件工程的發(fā)展起著重要的作用。在研究軟件工程技術(shù)的時候,必須更新傳統(tǒng)的軟件開發(fā)理念,重視軟件處理和分析大數(shù)據(jù)能力的發(fā)展,使得軟件產(chǎn)業(yè)呈現(xiàn)出新的發(fā)展面貌。

6結(jié)語

在當(dāng)今大數(shù)據(jù)時代,軟件工程技術(shù)的研究已經(jīng)區(qū)域復(fù)雜。隨著數(shù)據(jù)的指數(shù)的不斷增長,軟件技術(shù)對硬件設(shè)備數(shù)據(jù)處理能力產(chǎn)生一定的影響。因此,在對軟件工程技術(shù)的研究中,就需要對大數(shù)據(jù)技術(shù)的特點(diǎn)進(jìn)行研究,基于此研究軟件工程技術(shù),使得硬件設(shè)備的數(shù)據(jù)處理能力有所提高。在研發(fā)開發(fā)軟件技術(shù)的過程中,要從應(yīng)用領(lǐng)域的需求出發(fā)對大數(shù)據(jù)技術(shù)進(jìn)行分析,在大數(shù)據(jù)開發(fā)理論的基礎(chǔ)上創(chuàng)新軟件開發(fā)理論,促進(jìn)軟件技術(shù)更好地發(fā)展。

第7篇

關(guān)鍵詞:能力本位;大數(shù)據(jù)專業(yè);課程體系

高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強(qiáng)、綜合素養(yǎng)高的技能型人才[1-4],以能力為本位的大數(shù)據(jù)專業(yè)課程教學(xué)始終貫穿于高職大數(shù)據(jù)專業(yè)教育的全過程,這也是促進(jìn)新常態(tài)下高職大數(shù)據(jù)專業(yè)教育教學(xué)發(fā)展的主要因素。但是,就目前的發(fā)展態(tài)勢來看,高職培養(yǎng)的大數(shù)據(jù)專業(yè)人才的數(shù)量和質(zhì)量遠(yuǎn)遠(yuǎn)未能達(dá)到市場和企業(yè)的需求,究其原因,主要是因?yàn)楦呗毚髷?shù)據(jù)專業(yè)課程尚未形成體系,未能在有限的教學(xué)課時內(nèi)有機(jī)整合交叉重復(fù)的課程內(nèi)容,從而未能突出體現(xiàn)學(xué)生綜合能力的培養(yǎng)[5-9]。因此,構(gòu)建基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系勢在必行。

1高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的必要性

國務(wù)院于2015年8月印發(fā)的《促進(jìn)大數(shù)據(jù)發(fā)展行動綱要》指出,“建立健全多層次、多類型的大數(shù)據(jù)人才培養(yǎng)體系……重點(diǎn)培養(yǎng)職業(yè)工程師等大數(shù)據(jù)專業(yè)人才”。為了在一定程度上滿足市場和企業(yè)對大數(shù)據(jù)技術(shù)相關(guān)人才的需求,截至2020年12月,全國共有289所高職院校開設(shè)了大數(shù)據(jù)專業(yè)。由于我國高職院校大數(shù)據(jù)專業(yè)開設(shè)的時間短、起步晚、底子薄,大數(shù)據(jù)技術(shù)專業(yè)人才總體上來說是短缺的[1-4]。此外,由于人才培養(yǎng)目標(biāo)和就業(yè)定位仍然不夠明確,尚未形成系統(tǒng)性的師資團(tuán)隊(duì)、高效的實(shí)踐教學(xué)平臺和標(biāo)準(zhǔn)化的課程體系,未能有效構(gòu)建和運(yùn)用交叉學(xué)科的知識體系和課程內(nèi)容。因此,不完善的課程體系和課程內(nèi)容導(dǎo)致教師只著重計算機(jī)領(lǐng)域知識的教學(xué),缺乏適合學(xué)生學(xué)習(xí)系統(tǒng)性的大數(shù)據(jù)課程教學(xué)計劃,忽略了大數(shù)據(jù)專業(yè)學(xué)生技能的培養(yǎng),不能適應(yīng)大數(shù)據(jù)時代市場和企業(yè)對大數(shù)據(jù)專業(yè)高技能型人才的需求。目前我國高職院校大數(shù)據(jù)專業(yè)教學(xué)和人才培養(yǎng)仍處于摸索階段,如何從培養(yǎng)學(xué)生深度的思維能力和解決廣度問題綜合能力的角度出發(fā),構(gòu)建基于能力本位的大數(shù)據(jù)專業(yè)課程體系是擺在高職院校面前的一個重要課題[1-9]。

2基于能力本位高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的可行性分析

2.1面向計算思維能力的高職大數(shù)據(jù)專業(yè)課程體系。計算思維能力即在管理學(xué)和教育學(xué)基本理論的基礎(chǔ)上,充分、綜合運(yùn)用計算機(jī)專業(yè)領(lǐng)域的基本概念、基本方法、基本手段和基本過程對所需求解的問題進(jìn)行深度上和廣度上的抽象、挖掘、歸納,從而求得最優(yōu)解的一種思維能力[5]。高職大數(shù)據(jù)專業(yè)教育的培養(yǎng)目標(biāo)本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強(qiáng)、綜合素養(yǎng)高的技能型人才。計算思維能力完美地詮釋了高職大數(shù)據(jù)專業(yè)課程教育教學(xué)的內(nèi)在本質(zhì),即將高職大數(shù)據(jù)專業(yè)課程劃分為一種包括通識教育、大類教育、基本認(rèn)知等模塊課程在內(nèi)的螺旋遞推式的計算思維課程體系,通識教育課程包括數(shù)據(jù)科學(xué)數(shù)學(xué)基礎(chǔ)、人工智能導(dǎo)論、操作系統(tǒng)、統(tǒng)計學(xué)、管理學(xué)基礎(chǔ)、計算機(jī)組成原理、數(shù)據(jù)科學(xué)導(dǎo)論、大數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫原理、大數(shù)據(jù)編程算法等課程,充分、綜合運(yùn)用管理學(xué)領(lǐng)域、教育學(xué)領(lǐng)域、計算機(jī)專業(yè)領(lǐng)域的基本概念、基本理論、基本方法、基本手段和基本過程對所需求解的大數(shù)據(jù)分析、處理、應(yīng)用問題進(jìn)行深度上和廣度上的抽象、挖掘、歸納。因此,通過構(gòu)建面向計算思維能力的高職大數(shù)據(jù)專業(yè)課程體系并在實(shí)際的教學(xué)活動中加以實(shí)踐,促進(jìn)學(xué)生熟練掌握大數(shù)據(jù)的基本概念、基本理論、基本知識、基本方法、基本手段、基本過程和基本技能[6],從而具備初步的項(xiàng)目開發(fā)經(jīng)驗(yàn)和能力。2.2面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系。高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是為了培養(yǎng)在大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用等領(lǐng)域?qū)嵺`能力強(qiáng)、綜合素養(yǎng)高的技能型人才,即高職大數(shù)據(jù)專業(yè)教育的本質(zhì)是以能力為本位的?;诿嫦蛴嬎闼季S能力的高職大數(shù)據(jù)專業(yè)課程體系,面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系是指將大數(shù)據(jù)主干課程劃分為專業(yè)骨干、專業(yè)實(shí)踐等模塊課程,它們屬于應(yīng)用能力培養(yǎng)的范疇,專業(yè)骨干課程可開設(shè)的課程主要包括大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)采集、存儲與傳輸、數(shù)據(jù)庫應(yīng)用技術(shù),專業(yè)實(shí)踐課程可開設(shè)課程包括大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)挖掘、分析與處理、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)可視化技術(shù)等。這是高職大數(shù)據(jù)專業(yè)基于能力本位的課程體系整體框架中的核心課程,也是后期以“專業(yè)拓展”“綜合拓展”等模塊課程為標(biāo)志的工程能力培養(yǎng)課程開設(shè)的前提[5-7]。面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系側(cè)重于大數(shù)據(jù)應(yīng)用框架的部署和理解,課程內(nèi)容完美地體現(xiàn)了培養(yǎng)學(xué)生的大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)等方面的核心能力。2.3面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系。工程能力是指在計算思維能力和應(yīng)用能力的基礎(chǔ)上,學(xué)生通過團(tuán)隊(duì)協(xié)作解決實(shí)際工作中較為復(fù)雜綜合性的工程項(xiàng)目開發(fā)問題的能力。因此,面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系包含專業(yè)拓展、綜合拓展等模塊課程,它們屬于工程能力培養(yǎng)的范疇,即培養(yǎng)多元化的具有廣度創(chuàng)造技術(shù)、深度人工智能開發(fā)技術(shù)的大數(shù)據(jù)分析師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)運(yùn)維工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)科學(xué)家等工程項(xiàng)目設(shè)計與開發(fā)人才[6]。面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系通過項(xiàng)目小組團(tuán)隊(duì)協(xié)作的形式,以工程項(xiàng)目與企業(yè)真實(shí)案例為驅(qū)動,促使學(xué)生搭建大數(shù)據(jù)工程項(xiàng)目設(shè)計與開發(fā)的框架,細(xì)化框架內(nèi)部細(xì)節(jié),集思廣益,形成最終的工程項(xiàng)目解決方案,并充分運(yùn)用所學(xué)的專業(yè)骨干、專業(yè)實(shí)踐等模塊課程中的大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)采集、存儲與傳輸、數(shù)據(jù)庫應(yīng)用技術(shù)、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)挖掘、分析與處理、大數(shù)據(jù)應(yīng)用、大數(shù)據(jù)可視化技術(shù)等課程的核心知識,實(shí)施大數(shù)據(jù)工程項(xiàng)目的大數(shù)據(jù)采集、存儲、傳輸、分析、處理、應(yīng)用、作業(yè)調(diào)度、工程維護(hù)、代碼調(diào)錯等,從而完美地實(shí)現(xiàn)培養(yǎng)學(xué)生解決實(shí)際工程問題能力的目標(biāo)[7-9]。

3基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建途徑

3.1構(gòu)建支撐計算思維能力培養(yǎng)的立體化課程資源。面向計算思維能力的課程體系是高職大數(shù)據(jù)專業(yè)發(fā)展的一個基礎(chǔ)性課程體系,這是大數(shù)據(jù)專業(yè)能力向應(yīng)用能力與工程能力縱深發(fā)展的延伸性課程,目的在管理學(xué)和教育學(xué)基本理論的基礎(chǔ)上,充分、綜合運(yùn)用計算機(jī)專業(yè)領(lǐng)域的基本概念、基本方法、基本手段和基本過程對所需求解的問題進(jìn)行深度上和廣度上的抽象、挖掘、歸納,使學(xué)生掌握大數(shù)據(jù)專業(yè)的通識教育、大類教育、基本認(rèn)知等模塊課程,從而為學(xué)生拓展應(yīng)用能力與工程能力打下基礎(chǔ)。因此,需要構(gòu)建支撐計算思維能力培養(yǎng)的立體化課程資源,其主要形式是利用移動互聯(lián)網(wǎng)設(shè)置集課程資源、線上線下資源、實(shí)踐課程資源為一體的立體化課程體系教學(xué)資源模式[5],并利用移動互聯(lián)網(wǎng)構(gòu)建多樣化的線上線下網(wǎng)上教學(xué)環(huán)境、學(xué)生線上線下學(xué)習(xí)平臺。課程教學(xué)資源以線上線下和任務(wù)與項(xiàng)目驅(qū)動的實(shí)踐課程形式為主,學(xué)生在教師的啟發(fā)和引導(dǎo)下自主學(xué)習(xí),時時講解、時時操作。在此立體化課程資源支撐下,按照“計算思維形成→基本技能訓(xùn)練→計算思維能力培養(yǎng)”的要求,充分運(yùn)用混合式翻轉(zhuǎn)教學(xué)方式,對一些重點(diǎn)難點(diǎn)的課程內(nèi)容進(jìn)行反復(fù)教學(xué),實(shí)施數(shù)據(jù)挖掘與人工智能結(jié)合的大數(shù)據(jù)專業(yè)基礎(chǔ)知識的實(shí)際操作,對學(xué)生進(jìn)行個別指導(dǎo),加深學(xué)生對基本知識點(diǎn)的掌握和理解。3.2搭建支撐應(yīng)用能力培養(yǎng)的實(shí)訓(xùn)平臺。高職大數(shù)據(jù)專業(yè)實(shí)踐性、應(yīng)用性極強(qiáng),面向應(yīng)用能力的高職大數(shù)據(jù)專業(yè)課程體系要求搭建適當(dāng)?shù)闹螒?yīng)用能力培養(yǎng)的實(shí)訓(xùn)平臺以強(qiáng)化學(xué)生的應(yīng)用能力。搭建支撐應(yīng)用能力培養(yǎng)的實(shí)訓(xùn)平臺,重點(diǎn)是學(xué)校應(yīng)根據(jù)大數(shù)據(jù)專業(yè)人才培養(yǎng)目標(biāo)和計算思維能力培養(yǎng)需求,從硬件環(huán)境、軟件環(huán)境、線上線下網(wǎng)絡(luò)教學(xué)平臺等方面入手,構(gòu)建集大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)等于一體的核心能力培養(yǎng)平臺[5-6],大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)課程采用線上線下模式、理實(shí)一體化的教學(xué)方式,主要用于大數(shù)據(jù)專業(yè)的“專業(yè)骨干”“專業(yè)實(shí)踐”等模塊課程的實(shí)訓(xùn)教學(xué);軟件條件方面,利用搭建的實(shí)訓(xùn)環(huán)境,以學(xué)生分組協(xié)作形式,可以選擇并行分布式處理軟件Hadoop和Spark,實(shí)施大數(shù)據(jù)預(yù)處理、模型的建立模型、參數(shù)的選擇,為學(xué)生提供大數(shù)據(jù)編程算法、大數(shù)據(jù)程序設(shè)計、大數(shù)據(jù)核心平臺技術(shù)、大數(shù)據(jù)可視化應(yīng)用技術(shù)方面的實(shí)訓(xùn)項(xiàng)目,使學(xué)生掌握基本方法和技巧,理解基本工作原理,從而可以較好地培養(yǎng)學(xué)生應(yīng)用能力。3.3設(shè)計支撐工程能力培養(yǎng)的綜合性工程項(xiàng)目。面向工程能力的高職大數(shù)據(jù)專業(yè)課程體系即培養(yǎng)多元化的具有廣度創(chuàng)造技術(shù)、深度人工智能開發(fā)技術(shù)的大數(shù)據(jù)分析師、大數(shù)據(jù)架構(gòu)師、大數(shù)據(jù)運(yùn)維工程師、大數(shù)據(jù)開發(fā)工程師、大數(shù)據(jù)科學(xué)家等工程項(xiàng)目設(shè)計與開發(fā)人才,它是圍繞學(xué)生的工程項(xiàng)目開發(fā)能力而設(shè)置的。因此,學(xué)校應(yīng)結(jié)合大數(shù)據(jù)專業(yè)的人才培養(yǎng)總體目標(biāo)、計算思維能力培養(yǎng)目標(biāo)和應(yīng)用能力培養(yǎng)目標(biāo),設(shè)計支撐工程能力培養(yǎng)的綜合性工程項(xiàng)目[6-9],在每個項(xiàng)目中設(shè)置相應(yīng)的實(shí)驗(yàn),力求做到課程與崗位能力對接,檢驗(yàn)學(xué)生對實(shí)踐知識的掌握情況以及解決問題的思想、手段和方法,從而為工程項(xiàng)目開發(fā)打下堅(jiān)實(shí)的基礎(chǔ)。在綜合性工程項(xiàng)目類型方面,把支撐工程能力培養(yǎng)的綜合性工程項(xiàng)目分為設(shè)計性實(shí)驗(yàn)和綜合性實(shí)驗(yàn),合理規(guī)劃工程能力培養(yǎng)計劃、培養(yǎng)標(biāo)準(zhǔn)以便較好地適應(yīng)工程能力培養(yǎng)的新形勢,讓學(xué)生在“練中學(xué)、學(xué)中練”,考察學(xué)生的實(shí)際工程項(xiàng)目開發(fā)能力,力求工程項(xiàng)目開發(fā)能力與企業(yè)標(biāo)準(zhǔn)對接。3.4創(chuàng)新基于學(xué)生能力本位的教學(xué)模式和教學(xué)方法。面向計算思維能力、應(yīng)用能力、工程能力培養(yǎng)的高職大數(shù)據(jù)專業(yè)課程體系是一種螺旋遞推式的課程體系,它完美地詮釋了高職大數(shù)據(jù)專業(yè)課程教育教學(xué)的內(nèi)在本質(zhì)?;趯W(xué)生能力本位的教學(xué)模式和教學(xué)方法是實(shí)現(xiàn)高職大數(shù)據(jù)專業(yè)課程教育教學(xué)內(nèi)在本質(zhì)的重要條件。因此,高職院校要從大數(shù)據(jù)專業(yè)人才培養(yǎng)和學(xué)生實(shí)際需求出發(fā),制作精美的教學(xué)視頻,充分利用微課、翻轉(zhuǎn)課堂、多媒體、遠(yuǎn)程協(xié)作、虛擬現(xiàn)實(shí)、系統(tǒng)仿真、探究式、啟發(fā)式、逆向式、互動式等教學(xué)方式、方法和手段[1-4],按照“思維培養(yǎng)—應(yīng)用細(xì)化—工程開發(fā)”的教學(xué)模式,圍繞大數(shù)據(jù)專業(yè)的課程教學(xué)內(nèi)容,充分利用網(wǎng)絡(luò)資源,隨時調(diào)整教學(xué)細(xì)節(jié),合理安排課時,及時記錄教學(xué)過程中的反饋信息,使得師生之間的良好互動和溝通達(dá)到一定的廣度和深度,為學(xué)生掌握大數(shù)據(jù)專業(yè)課程的精髓和將來適應(yīng)工作崗位打下堅(jiān)實(shí)基礎(chǔ)。3.5加強(qiáng)基于學(xué)生能力本位的師資隊(duì)伍建設(shè)。高質(zhì)量的專業(yè)教師隊(duì)伍是構(gòu)建基于能力本位的高職大數(shù)據(jù)專業(yè)課程體系構(gòu)建的良好保障,因此高職院校要圍繞學(xué)生的計算思維能力培養(yǎng)、應(yīng)用能力培養(yǎng)、工程能力培養(yǎng)[5-9],加強(qiáng)基于學(xué)生能力本位的師資隊(duì)伍建設(shè),讓教師在教學(xué)與科研中取長補(bǔ)短,豐富知識結(jié)構(gòu),相互促進(jìn),相互提高,從而為教師專業(yè)素質(zhì)和創(chuàng)新實(shí)踐能力提供保障,提升教師授課水平。

4結(jié)語

高職大數(shù)據(jù)專業(yè)課程體系的構(gòu)建為提升學(xué)生的計算思維能力、應(yīng)用能力、工程能力提供了科學(xué)的發(fā)展平臺,對高職專業(yè)人才培養(yǎng)和課程改革具有重要的意義,同時也能使學(xué)生成為有知識、有能力的社會主義事業(yè)建設(shè)者和接班人。大數(shù)據(jù)對當(dāng)今社會的重要意義以及大數(shù)據(jù)專業(yè)人才的不足決定了大數(shù)據(jù)專業(yè)人才培養(yǎng)任重道遠(yuǎn),但是不足也是動力,也給未來高職大數(shù)據(jù)專業(yè)預(yù)留了很大的發(fā)展空間。

參考文獻(xiàn):

[1]林宛楊.“職教20條”建設(shè)背景下大數(shù)據(jù)課程體系改革[J].電腦知識與技術(shù),2020,16(36):170-171,176.

[2]劉建華,胡文瑜,唐鄭熠,等.數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)課程體系探索[J].科教文匯,2021(2):115-116.

[3]周黎鳴,林英豪,李征,等.新工科背景下大數(shù)據(jù)專業(yè)課程建設(shè)[J].計算機(jī)時代,2021(1):102-105.

[4]馬曉磊,霍恩澤.面向“互聯(lián)網(wǎng)+產(chǎn)學(xué)交融”的交通大數(shù)據(jù)課程體系建設(shè)[J].高教學(xué)刊,2021(7):86-89.

[5]崔琳,吳孝銀,張志偉.面向?qū)W生計算思維培養(yǎng)的數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)課程體系建設(shè)模式探究[J].無線互聯(lián)科技,2020(4):121-122.

[6]戴牡紅.面向工程能力培養(yǎng)的大數(shù)據(jù)教學(xué)研究[J].軟件工程,2021,24(1):47-50.

[7]袁利平,楊陽.基于能力本位的教師教育課程體系建構(gòu)[J].河北師范大學(xué)學(xué)報(教育科學(xué)版),2020,22(5):85-92.

[8]王姝,蘇志東.基于能力本位的反向課程設(shè)計方法應(yīng)用研究[J].微型電腦應(yīng)用,2020,36(9):77-82.