摘要:針對(duì)當(dāng)前海量的工程數(shù)據(jù)信息,如何對(duì)這些數(shù)據(jù)進(jìn)行存儲(chǔ),是當(dāng)前思考的重點(diǎn)。論文提出利用Hadoop在存儲(chǔ)和計(jì)算方面的優(yōu)勢(shì),構(gòu)建一個(gè)可用于對(duì)多個(gè)工程數(shù)據(jù)信息進(jìn)行海量存儲(chǔ)和管理的平臺(tái)。利用Hadoop對(duì)存儲(chǔ)平臺(tái)進(jìn)行搭建,并重點(diǎn)對(duì)系統(tǒng)功能、內(nèi)部模塊運(yùn)行邏輯,以及客戶端與服務(wù)器端數(shù)據(jù)同步等問(wèn)題進(jìn)行詳細(xì)的設(shè)計(jì),同時(shí)創(chuàng)新地提出對(duì)MapReduce并行參數(shù)進(jìn)行優(yōu)化,引入PSO蟻群算法,從而大大提高了存儲(chǔ)平臺(tái)作業(yè)的效率,為海量數(shù)據(jù)的處理提供了新的借鑒,可促進(jìn)工程數(shù)據(jù)的共享與后續(xù)的深入分析。
注:因版權(quán)方要求,不能公開(kāi)全文,如需全文,請(qǐng)咨詢雜志社
國(guó)際刊號(hào):2096-7586
國(guó)內(nèi)刊號(hào):42-1907/C