基于MapReduce和Spark的大數(shù)據(jù)主動(dòng)學(xué)習(xí)比較研究
作者：翟俊海; 齊家興; 沈矗; 宋丹丹; 王謨瀚; 田石 河北省機(jī)器學(xué)習(xí)與計(jì)算智能重點(diǎn)實(shí)驗(yàn)室; 河北保定071002; 河北大學(xué)數(shù)學(xué)與信息科學(xué)學(xué)院; 河北保定071002
摘要：在我們以前的工作中,提出了基于MapReduce的大數(shù)據(jù)主動(dòng)學(xué)習(xí)算法。在本文中,將這一算法移植到Spark環(huán)境,提出了基于Spark的大數(shù)據(jù)主動(dòng)學(xué)習(xí)算法,并對(duì)基于MapReduce和Spark的2種大數(shù)據(jù)主動(dòng)學(xué)習(xí)算法從運(yùn)行時(shí)間、文件數(shù)目、同步數(shù)目和內(nèi)存耗費(fèi)4個(gè)方面進(jìn)行了比較研究,得出了一些有價(jià)值的結(jié)論,這些結(jié)論將為相關(guān)研究人員提供很好的幫助。
注：因版權(quán)方要求，不能公開全文，如需全文，請(qǐng)咨詢雜志社
相關(guān)熱門期刊
