時(shí)間：2023-03-20 16:18:41
序論：在您撰寫計(jì)算機(jī)大數(shù)據(jù)論文時(shí)，參考他人的優(yōu)秀作品可以開闊視野，小編為您整理的7篇范文，希望這些建議能夠激發(fā)您的創(chuàng)作熱情，引導(dǎo)您走向新的創(chuàng)作高度。
大數(shù)據(jù)時(shí)代的到來，計(jì)算機(jī)信息處理技術(shù)也存在著很大風(fēng)險(xiǎn)，其中最突出的問題是計(jì)算機(jī)病毒以及惡意盜版軟件等，給用戶使用計(jì)算機(jī)產(chǎn)生了極大的消極影響。這些還是一些比較基礎(chǔ)的問題，隨著計(jì)算機(jī)技術(shù)的發(fā)展，還出現(xiàn)篡改數(shù)據(jù)、冒名頂替等問題，影響計(jì)算機(jī)技術(shù)服務(wù)質(zhì)量，計(jì)算機(jī)信息處理技術(shù)受到了前所未有的考驗(yàn)。另外，大數(shù)據(jù)時(shí)代的到來，還出現(xiàn)了許多新型網(wǎng)絡(luò)技術(shù)，針對(duì)一些繁瑣的問題能夠有效解決，提高了人們的工作效率，然而，這也在一定程度上降低了網(wǎng)絡(luò)的真實(shí)性，特別是在網(wǎng)絡(luò)交流和溝通日益緊密的前提下，導(dǎo)致網(wǎng)絡(luò)信息真假難分，不僅增加了信息搜索難度，而且致使人們無法快速獲得真實(shí)信息。因此，提高計(jì)算機(jī)信息處理技術(shù)至關(guān)重要。
2大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理技術(shù)
2.1信息采集、加工方面
計(jì)算機(jī)信息處理技術(shù)要進(jìn)行工作，首先，要采集數(shù)據(jù)信息，計(jì)算機(jī)技術(shù)都是建立在數(shù)據(jù)采集基礎(chǔ)之上的，數(shù)據(jù)采集主要是針對(duì)目標(biāo)信息源進(jìn)行實(shí)時(shí)的信息監(jiān)督和控制，并將才覺得數(shù)據(jù)儲(chǔ)存在計(jì)算機(jī)數(shù)據(jù)庫中，為各個(gè)軟件提供信息支持，確保下一項(xiàng)工作順利進(jìn)行；其次，對(duì)數(shù)據(jù)信息進(jìn)行加工，按照用戶的要求，對(duì)數(shù)據(jù)信息進(jìn)行加工；最后，將加工好的數(shù)據(jù)信系進(jìn)行分類，最終傳送到用戶手中，實(shí)現(xiàn)數(shù)據(jù)采集、加工以及傳送目標(biāo)。
2.2存儲(chǔ)方面
計(jì)算機(jī)存儲(chǔ)技術(shù)是將采集的信息儲(chǔ)存到計(jì)算機(jī)數(shù)據(jù)庫之中，在用戶需要某一項(xiàng)信息過程中，可以通過數(shù)據(jù)庫直接將數(shù)據(jù)調(diào)取出來，計(jì)算機(jī)以其儲(chǔ)存量大、速度快等優(yōu)勢(shì)，受到人們?cè)絹碓蕉嗟年P(guān)注，另外，計(jì)算機(jī)技術(shù)還能夠?qū)崿F(xiàn)長(zhǎng)時(shí)間儲(chǔ)存。
2.3信息安全方面
大數(shù)據(jù)時(shí)代的到來，讓人們感受技術(shù)帶來的便捷的同時(shí)，也讓人們意識(shí)到數(shù)據(jù)信息安全對(duì)人們的重要性。因此，為了能夠提高數(shù)據(jù)信息的安全、可靠性，可以通過以下幾個(gè)方面進(jìn)行：首先，建立計(jì)算機(jī)信息安全體系，加大專業(yè)技術(shù)人才的培養(yǎng)力度，投入資金，為構(gòu)建計(jì)算機(jī)安全體系奠定堅(jiān)實(shí)的基礎(chǔ)；其次，加大研究力度，開發(fā)信息安全技術(shù)產(chǎn)品。傳統(tǒng)信息安全技已經(jīng)無法滿足大數(shù)據(jù)時(shí)代數(shù)據(jù)安全需求，為了能夠盡快改善數(shù)據(jù)安全問題，應(yīng)加大研究力度，尋求更好的解決方案，有效避免數(shù)據(jù)信息受到威脅；最后，重視對(duì)重要數(shù)據(jù)的檢測(cè)，大數(shù)據(jù)時(shí)代的突出特點(diǎn)是數(shù)據(jù)量大，無法實(shí)現(xiàn)對(duì)每一個(gè)數(shù)據(jù)的檢測(cè)。因此，為了提高數(shù)據(jù)安全系數(shù)，應(yīng)加強(qiáng)對(duì)重點(diǎn)數(shù)據(jù)信息的檢測(cè)，從而確保數(shù)據(jù)信息安全。
2.4信息處理技術(shù)的發(fā)展
計(jì)算機(jī)硬件具有一定局限性，在一定程度上阻礙了計(jì)算機(jī)網(wǎng)絡(luò)的發(fā)展，而云計(jì)算網(wǎng)絡(luò)能夠突破這一弊端。因此，推廣和應(yīng)用云計(jì)算機(jī)網(wǎng)絡(luò)成為未來大數(shù)據(jù)時(shí)代計(jì)算機(jī)信息處理的主要發(fā)展趨勢(shì)。傳統(tǒng)計(jì)算機(jī)網(wǎng)絡(luò)是將硬件與網(wǎng)絡(luò)有機(jī)結(jié)合，抑制了計(jì)算機(jī)信息處理技術(shù)的發(fā)展，將二者分離開，促使云計(jì)算主筋形成云計(jì)算網(wǎng)絡(luò)，從而構(gòu)建大數(shù)據(jù)信息網(wǎng)絡(luò)系統(tǒng)，推動(dòng)我國社會(huì)不斷發(fā)展。
3結(jié)論
目前，國內(nèi)高等院校的計(jì)算機(jī)基礎(chǔ)教育更多地沿用了傳統(tǒng)計(jì)算機(jī)教育的方法，只注重講授計(jì)算機(jī)的理論知識(shí)和操作要領(lǐng)，未考慮學(xué)生學(xué)習(xí)的效果。這導(dǎo)致學(xué)生只是記住一些概念和理論，能做基本的操作，卻很難用所學(xué)的知識(shí)靈活地解決實(shí)際問題。當(dāng)前大學(xué)計(jì)算機(jī)基礎(chǔ)教育面臨以下4個(gè)問題：
（1）學(xué)生的計(jì)算機(jī)應(yīng)用能力差異大
高等院校的學(xué)生來自全國各地，而不同地區(qū)的中小學(xué)計(jì)算機(jī)教育水平參差不齊。單一的課堂教學(xué)已無法保證所有的學(xué)生學(xué)得會(huì)、學(xué)得好，這給教學(xué)帶來了問題。
（2）教學(xué)和實(shí)驗(yàn)的學(xué)時(shí)嚴(yán)重不足
目前，各個(gè)高校都在減少課時(shí)，教師只能在課堂上和實(shí)驗(yàn)中加大講授的知識(shí)量，加快教學(xué)進(jìn)度。當(dāng)一個(gè)教師面對(duì)幾十個(gè)學(xué)生時(shí)，基礎(chǔ)較差的學(xué)生往往得不到教師足夠的指導(dǎo)和練習(xí)時(shí)間，這給輔導(dǎo)答疑帶來了問題。
（3）學(xué)習(xí)的結(jié)果與過程未被記錄下來
學(xué)生可以利用豐富的網(wǎng)絡(luò)資源鞏固課堂內(nèi)容，擴(kuò)大知識(shí)面，加深對(duì)知識(shí)的理解。在傳統(tǒng)教學(xué)中，教師往往忽視了學(xué)生的課后學(xué)習(xí)，沒有記錄學(xué)習(xí)結(jié)果與過程，這給教育過程的改進(jìn)帶來了問題。
（4）目前的網(wǎng)絡(luò)教學(xué)系統(tǒng)很少區(qū)分學(xué)習(xí)個(gè)體
網(wǎng)絡(luò)教學(xué)系統(tǒng)能夠提供大量的多媒體教學(xué)資源，幫助教師進(jìn)行課后輔導(dǎo)答疑，卻很少區(qū)分學(xué)習(xí)個(gè)體，導(dǎo)致缺乏個(gè)體相關(guān)的數(shù)據(jù)，從而難以提供個(gè)性化的指導(dǎo)，這給網(wǎng)絡(luò)教學(xué)系統(tǒng)的智能化帶來了問題。這些問題歸根結(jié)底是數(shù)據(jù)的問題，是數(shù)據(jù)沒有被有效地規(guī)劃和整合的問題。我們把與學(xué)習(xí)過程相關(guān)的大量數(shù)據(jù)收集起來，對(duì)這些數(shù)據(jù)進(jìn)行分析，挖掘出有價(jià)值的信息，最后傳遞給學(xué)習(xí)者，這是一種解決計(jì)算機(jī)基礎(chǔ)教育所面臨問題的可行方法。
2面向計(jì)算機(jī)基礎(chǔ)教育的大數(shù)據(jù)
在當(dāng)前知識(shí)大爆炸的時(shí)代，人們獲取知識(shí)的途徑不僅僅局限于課堂，更多的是網(wǎng)絡(luò)資源。當(dāng)代的大學(xué)生接受新生事物更快，更愿意在特定的學(xué)習(xí)情境下去主動(dòng)構(gòu)建知識(shí)。因此，大學(xué)計(jì)算機(jī)基礎(chǔ)教育需要改革現(xiàn)有的教育模式，將大數(shù)據(jù)技術(shù)融入到大學(xué)計(jì)算機(jī)基礎(chǔ)教育中，建立與時(shí)俱進(jìn)的大數(shù)據(jù)驅(qū)動(dòng)的教育模式可以有效解決上述問題。在大數(shù)據(jù)時(shí)代涌現(xiàn)出大量的網(wǎng)絡(luò)教學(xué)系統(tǒng)，隨著這些網(wǎng)絡(luò)教學(xué)系統(tǒng)的推廣和普遍應(yīng)用，使用者數(shù)量急劇增加，產(chǎn)生了大量的數(shù)據(jù)。數(shù)據(jù)之間可能存在某種聯(lián)系，對(duì)這些聯(lián)系進(jìn)行分析和挖掘可能會(huì)找到有價(jià)值的信息。將有價(jià)值的信息展現(xiàn)出來，能夠幫助我們做出正確的決策。在人類社會(huì)的發(fā)展已經(jīng)由動(dòng)力驅(qū)動(dòng)轉(zhuǎn)變?yōu)閿?shù)據(jù)驅(qū)動(dòng)的背景下，教育正在發(fā)生著一場(chǎng)新的變革，大學(xué)計(jì)算機(jī)基礎(chǔ)教育也面臨著類似的機(jī)遇和挑戰(zhàn)。通過網(wǎng)絡(luò)教學(xué)系統(tǒng)，可以更加方便地獲取和利用大學(xué)計(jì)算機(jī)基礎(chǔ)教育相關(guān)的各種數(shù)據(jù)
。大學(xué)計(jì)算機(jī)基礎(chǔ)教育涉及的數(shù)據(jù)主要有以下幾種：
（1）課件。課件是文字、聲音、圖像、動(dòng)畫等素材的集合，幫助教師更加生動(dòng)地講解課程內(nèi)容，主要使用PPT和Flash兩種文件。
（2）視頻。視頻是將教師在課堂上的授課內(nèi)容錄制下來，為學(xué)生提供課后學(xué)習(xí)的方式。學(xué)生可以在教學(xué)系統(tǒng)中下載或在線學(xué)習(xí)視頻內(nèi)容。
（3）題目。題目主要用于測(cè)試學(xué)習(xí)效果，包括判斷題、填空題、選擇題、問答題、程序設(shè)計(jì)題等各種題型。
（4）問題。學(xué)生在學(xué)習(xí)過程中遇到的問題，通過教學(xué)系統(tǒng)提交給教師。這些問題反映了學(xué)習(xí)的難點(diǎn)，是教師在課堂上需要詳細(xì)講解的教學(xué)內(nèi)容。
（5）代碼。代碼是學(xué)生做程序設(shè)計(jì)類題目時(shí)所編寫的程序代碼。學(xué)生編寫代碼的質(zhì)量可以由教師評(píng)判，也可以由系統(tǒng)自動(dòng)評(píng)判。
（6）行為。行為用來記錄學(xué)生的學(xué)習(xí)活動(dòng)，如課件下載行為、視頻點(diǎn)播行為、作業(yè)瀏覽行為、編程行為等。這些行為能夠反映出學(xué)生的學(xué)習(xí)情況。
（7）缺陷。缺陷是學(xué)生提交的作業(yè)中包含的各種錯(cuò)誤，反映了學(xué)習(xí)過程中存在的問題。對(duì)教學(xué)系統(tǒng)而言，這些數(shù)據(jù)是進(jìn)行個(gè)性化推薦學(xué)習(xí)的參考依據(jù)；對(duì)教師而言，這些數(shù)據(jù)能夠提示教學(xué)過程中需要特別關(guān)注的地方。
（8）過程。過程是指在教學(xué)過程中收集到的一些宏觀數(shù)據(jù)，如課件學(xué)習(xí)過程、視頻學(xué)習(xí)過程、測(cè)試過程等。這些過程能夠反映出學(xué)生學(xué)習(xí)的個(gè)體差異。
3大數(shù)據(jù)驅(qū)動(dòng)的新模式
在大數(shù)據(jù)時(shí)代，我們可以利用大數(shù)據(jù)技術(shù)在大量與學(xué)習(xí)相關(guān)的數(shù)據(jù)中挖掘出有價(jià)值的信息。這些信息能夠幫助學(xué)生更加科學(xué)有效地學(xué)習(xí)，較好地解決當(dāng)前計(jì)算機(jī)基礎(chǔ)教育面臨的問題。因此，我們將大數(shù)據(jù)技術(shù)融入到大學(xué)計(jì)算機(jī)基礎(chǔ)教育中，提出一種大數(shù)據(jù)驅(qū)動(dòng)的計(jì)算機(jī)基礎(chǔ)教育新模式。它是在有效規(guī)劃和整合計(jì)算機(jī)基礎(chǔ)教育大數(shù)據(jù)的前提下，為學(xué)生提供各種自主學(xué)習(xí)資源和服務(wù)的新模式。學(xué)生和教師在使用各種網(wǎng)絡(luò)教學(xué)系統(tǒng)時(shí)，輸入的數(shù)據(jù)和學(xué)習(xí)行為都被系統(tǒng)記錄下來。利用大數(shù)據(jù)技術(shù)對(duì)記錄下來的數(shù)據(jù)進(jìn)行分析，挖掘出與學(xué)生學(xué)習(xí)特征相關(guān)的數(shù)據(jù)。這些數(shù)據(jù)為學(xué)生的后續(xù)學(xué)習(xí)提供個(gè)性化的推薦，規(guī)劃個(gè)性化的學(xué)習(xí)路線；向教師反饋學(xué)生的學(xué)習(xí)行為和效果，為后續(xù)教學(xué)提供個(gè)性化的推薦，幫助教師改進(jìn)教學(xué)方法。以在線課程系統(tǒng)、在線編程系統(tǒng)和在線答疑系統(tǒng)為代表的各種網(wǎng)絡(luò)教學(xué)系統(tǒng)目前得到了廣泛的應(yīng)用，這些系統(tǒng)本質(zhì)上都是大數(shù)據(jù)驅(qū)動(dòng)。實(shí)踐證明，這些系統(tǒng)的應(yīng)用將為學(xué)生學(xué)習(xí)和教師教學(xué)提供實(shí)質(zhì)性的幫助。
1）在線課程系統(tǒng)是課堂教學(xué)的延伸
大型開放式網(wǎng)絡(luò)課程MOOC是國際上流行的教學(xué)平臺(tái)。自2013年5月以來，北京大學(xué)、清華大學(xué)、復(fù)旦大學(xué)、上海交通大學(xué)等國內(nèi)一流高校紛紛宣布加入MOOC，向全球提供免費(fèi)的在線課程。MOOC采用云計(jì)算架構(gòu)，提供大量的視頻學(xué)習(xí)資源和人機(jī)交互功能。學(xué)生提交作業(yè)后，系統(tǒng)能自動(dòng)評(píng)判作業(yè)的質(zhì)量，以評(píng)估學(xué)習(xí)效果。MOOC的出現(xiàn)給計(jì)算機(jī)基礎(chǔ)教育帶來巨大影響。MOOC解決了學(xué)生計(jì)算機(jī)應(yīng)用能力差異大的問題，學(xué)生不管基礎(chǔ)如何，都能找到與之相應(yīng)的學(xué)習(xí)內(nèi)容；MOOC彌補(bǔ)了課堂教學(xué)學(xué)時(shí)不足的問題，學(xué)生能在課后隨時(shí)隨地找到學(xué)習(xí)資源；MOOC能夠記錄學(xué)習(xí)的結(jié)果與過程以及作業(yè)中的錯(cuò)誤等，這些對(duì)于改進(jìn)教學(xué)方式和調(diào)整教學(xué)重點(diǎn)等都有意義。
2）在線編程系統(tǒng)是實(shí)驗(yàn)環(huán)節(jié)的補(bǔ)充
隨著SaaS技術(shù)(軟件即服務(wù))的不斷成熟，出現(xiàn)了許多功能強(qiáng)大的在線編程系統(tǒng)。這給大學(xué)計(jì)算機(jī)基礎(chǔ)教育中的程序設(shè)計(jì)類課程的實(shí)驗(yàn)教學(xué)
帶來了巨大的幫助。使用在線編程系統(tǒng)進(jìn)行實(shí)驗(yàn)的好處有以下幾點(diǎn)：
（1）教師不用在實(shí)驗(yàn)室的每臺(tái)計(jì)算機(jī)中安裝軟件，學(xué)生通過瀏覽器就可以編寫程序；
（2）學(xué)生編寫的代碼都存儲(chǔ)在云端，能上網(wǎng)的地方就能練習(xí)編程，并且隨時(shí)可以修改代碼，解決了實(shí)驗(yàn)教學(xué)學(xué)時(shí)不足的問題；
（3）在線編程系統(tǒng)主要記錄代碼和代碼編寫的過程，能夠收集實(shí)驗(yàn)過程中與學(xué)習(xí)相關(guān)的數(shù)據(jù)。國外在線編程系統(tǒng)CodeCademy提供了一種學(xué)習(xí)編程的新方式。它的用戶群是零基礎(chǔ)的學(xué)習(xí)者，所以CodeCademy創(chuàng)設(shè)趣味性的學(xué)習(xí)環(huán)境，手把手幫助學(xué)習(xí)者了解編程的過程。它的在線編輯器能讓學(xué)習(xí)者不用尋找、下載和安裝編程環(huán)境就可以在網(wǎng)絡(luò)上編程。在線編程系統(tǒng)不僅為實(shí)驗(yàn)教學(xué)提供了方便的實(shí)驗(yàn)環(huán)境，還能收集大量的程序代碼和學(xué)生的編程行為，有助于分析學(xué)生的學(xué)習(xí)特點(diǎn)與習(xí)慣，區(qū)分學(xué)習(xí)個(gè)體，為制訂個(gè)性化學(xué)習(xí)路線提供有價(jià)值的數(shù)據(jù)。
3）在線答疑系統(tǒng)是課后輔導(dǎo)的平臺(tái)
學(xué)生在學(xué)習(xí)過程中常常會(huì)遇到很多問題，這些問題如果能及時(shí)得到解答，就能促進(jìn)學(xué)生更深入地學(xué)習(xí)；反之，就會(huì)影響學(xué)生的學(xué)習(xí)效果和積極性。目前，互聯(lián)網(wǎng)上已經(jīng)出現(xiàn)了許多人工解答和自動(dòng)解答的系統(tǒng)。有代表性的是上海交通大學(xué)的遠(yuǎn)程教育設(shè)計(jì)中心設(shè)計(jì)開發(fā)的AnswerWeb自動(dòng)答疑系統(tǒng)，它是一個(gè)動(dòng)態(tài)的問題及答案的數(shù)據(jù)庫。學(xué)生輸入關(guān)鍵詞后可以在系統(tǒng)已有的問題和答案數(shù)據(jù)庫中查找相關(guān)的材料。如果沒有找到答案，則會(huì)自動(dòng)轉(zhuǎn)發(fā)給教師請(qǐng)求幫助解答。隨后，新的提問和答案將被增加到系統(tǒng)庫中。系統(tǒng)會(huì)記錄所有的問題和答案以及學(xué)生提問過程中的行為。在線答疑系統(tǒng)應(yīng)用到大學(xué)計(jì)算機(jī)基礎(chǔ)教育中，解決了教師無法在課后對(duì)每位學(xué)生進(jìn)行輔導(dǎo)答疑的問題。同時(shí)，利用大數(shù)據(jù)技術(shù)，答疑系統(tǒng)將學(xué)生提問和獲得解答的行為記錄下來，自動(dòng)的分析這些數(shù)據(jù)，挖掘?qū)W習(xí)個(gè)體特征，為學(xué)生的后續(xù)學(xué)習(xí)提供個(gè)性化的推薦。
4結(jié)語
在大數(shù)據(jù)時(shí)代環(huán)境下，信息的獲取和選擇、信息技術(shù)的掌握應(yīng)用，直接影響知識(shí)的生產(chǎn)、科技的創(chuàng)新和成果的轉(zhuǎn)化。大數(shù)據(jù)時(shí)代對(duì)高校的教學(xué)、學(xué)生的計(jì)算機(jī)應(yīng)用能力提出了新的要求。產(chǎn)業(yè)界需求與關(guān)注點(diǎn)發(fā)生了重大轉(zhuǎn)變，企業(yè)關(guān)注的重點(diǎn)轉(zhuǎn)向數(shù)據(jù)，計(jì)算機(jī)行業(yè)正在轉(zhuǎn)變?yōu)檎嬲男畔⑿袠I(yè)，從追求計(jì)算速度轉(zhuǎn)變?yōu)殛P(guān)注大數(shù)據(jù)處理能力，軟件也將從編程為主轉(zhuǎn)變?yōu)橐詳?shù)據(jù)為中心。學(xué)生要學(xué)會(huì)對(duì)數(shù)據(jù)的去冗分類、去粗取精，從數(shù)據(jù)中挖掘知識(shí)，要能夠把大數(shù)據(jù)變成小數(shù)據(jù)，要在不明顯增加采集成本的條件下盡可能提高數(shù)據(jù)的采集質(zhì)量。要研究如何科學(xué)合理地抽樣采集數(shù)據(jù)，減少不必要的數(shù)據(jù)采集。
二、大數(shù)據(jù)時(shí)代背景下的教學(xué)策略
（一）營造適合學(xué)生全面發(fā)展的軟硬件環(huán)境信息時(shí)代的發(fā)展使得高職院校圖書館和數(shù)據(jù)中心具備了大數(shù)據(jù)的特征。科學(xué)研究和科技創(chuàng)新越來越依賴于對(duì)數(shù)據(jù)的管理和利用，打造良好、適宜的軟硬件環(huán)境是提高職業(yè)院校學(xué)生信息素養(yǎng)的基礎(chǔ)。目前互聯(lián)網(wǎng)技術(shù)及應(yīng)用普及度較高，建設(shè)智慧校園可為學(xué)生提供更多的接觸信息資源的機(jī)會(huì)。加強(qiáng)高職院校數(shù)據(jù)中心和網(wǎng)絡(luò)中心的建設(shè)力度，在依托傳統(tǒng)圖書館文獻(xiàn)存儲(chǔ)量的基礎(chǔ)上，增加館藏圖文電子數(shù)據(jù)、電子文獻(xiàn)與多媒體文獻(xiàn)，打造信息化圖書館，為學(xué)生提供多元化的信息資源與服務(wù)。加強(qiáng)校園社交網(wǎng)絡(luò)平臺(tái)的建設(shè)，利用微信等新型傳播媒介，采用主動(dòng)推送的方式傳遞正能量，提供有益于學(xué)生健康成長(zhǎng)的信息，監(jiān)控、屏蔽不良信息的傳播，過濾影響學(xué)生身心健康的不良信息，構(gòu)建適合高職院校學(xué)生學(xué)習(xí)的良好環(huán)境。
（二）發(fā)揮數(shù)字化圖書館在教育過程中的核心作用數(shù)字化圖書館的建設(shè)是圖書館業(yè)今后發(fā)展的主要方向。數(shù)字化圖書館也是一個(gè)科技含量較高的系統(tǒng)工程，高職院校各級(jí)領(lǐng)導(dǎo)應(yīng)正確認(rèn)識(shí)，加強(qiáng)資金投入，充分發(fā)揮其對(duì)教育過程的支持作用。數(shù)字化圖書館的典型特征是存儲(chǔ)數(shù)字化、操作計(jì)算機(jī)化、傳遞信息網(wǎng)絡(luò)化、信息存儲(chǔ)自由化和結(jié)構(gòu)連接化，可與高職院校的基礎(chǔ)建設(shè)可以同步推進(jìn)。在建設(shè)與發(fā)展過程中，教師要積極引導(dǎo)學(xué)生充分利用數(shù)字化信息資源。學(xué)生在使用數(shù)字化圖書館的過程中會(huì)產(chǎn)生一系列的行為特征數(shù)據(jù)。通過對(duì)學(xué)學(xué)習(xí)路徑和學(xué)習(xí)偏好的數(shù)據(jù)分析，根據(jù)其特點(diǎn)與實(shí)際量身設(shè)計(jì)合理的信息資源智慧導(dǎo)航，從而為學(xué)生學(xué)習(xí)新技術(shù)、新知識(shí)提供個(gè)性化的服務(wù)。
（三）加強(qiáng)學(xué)生創(chuàng)新能力的培養(yǎng)在知識(shí)經(jīng)濟(jì)時(shí)代，創(chuàng)新決定著一個(gè)國家和民族的綜合實(shí)力和核心競(jìng)爭(zhēng)力。培養(yǎng)具有創(chuàng)新能力、實(shí)踐能力的高素質(zhì)技能人才，是高職院校人才培養(yǎng)的一個(gè)重點(diǎn)方向，也是高職辦學(xué)的特色及亮點(diǎn)。創(chuàng)新能力培養(yǎng)的關(guān)鍵是創(chuàng)新思維的培養(yǎng)，而創(chuàng)新思維的核心在于思維的獨(dú)特性和新穎性。在大數(shù)據(jù)時(shí)代，學(xué)生面臨眾多數(shù)據(jù)資源。教師需要對(duì)學(xué)生提供專業(yè)的指導(dǎo)，讓學(xué)生學(xué)會(huì)利用互聯(lián)網(wǎng)技術(shù)和計(jì)算機(jī)軟件工具解決實(shí)際問題，在解決問題的過程中培養(yǎng)創(chuàng)新思維。高職院校應(yīng)努力營造創(chuàng)新教育環(huán)境，結(jié)合創(chuàng)新教育，大力推進(jìn)素質(zhì)教育。將“小發(fā)明、小創(chuàng)造”“大學(xué)生實(shí)踐技能展演”“大學(xué)生才藝展示”等活動(dòng)納入校園文化活動(dòng)中。組織學(xué)生參加各行業(yè)舉辦的職業(yè)技能大賽，實(shí)現(xiàn)從應(yīng)試教育向素質(zhì)教育的轉(zhuǎn)軌，培養(yǎng)實(shí)用型、創(chuàng)新型的復(fù)合技能人才。充分重視學(xué)生的個(gè)性發(fā)展，建立專業(yè)的師資隊(duì)伍對(duì)學(xué)生的創(chuàng)造發(fā)明活動(dòng)給予強(qiáng)有力的技術(shù)指導(dǎo)。對(duì)于技術(shù)含量高的、有市場(chǎng)推廣價(jià)值的創(chuàng)造發(fā)明活動(dòng)，要引導(dǎo)學(xué)生進(jìn)行自主創(chuàng)業(yè)，帶動(dòng)就業(yè)。加大創(chuàng)新教育課程的開發(fā)與建設(shè)力度，強(qiáng)化學(xué)生創(chuàng)新能力的培養(yǎng)。
（四）培養(yǎng)學(xué)生對(duì)信息技術(shù)的興趣與愛好興趣是最好的老師，是激發(fā)學(xué)生學(xué)習(xí)積極性的動(dòng)力，是激發(fā)創(chuàng)新能力的必要條件。學(xué)生只有對(duì)身邊的事物發(fā)生了興趣，才會(huì)活躍思維，激發(fā)潛力。在課程設(shè)計(jì)中加入了生動(dòng)、形象、貼近工作、貼近生活的典型案例，可以有效地激發(fā)學(xué)生的學(xué)習(xí)興趣，讓學(xué)生樂在其中，愉快地完成學(xué)習(xí)任務(wù)。教學(xué)實(shí)踐環(huán)節(jié)也應(yīng)緊密圍繞著學(xué)生熟悉的事物、案例來開展教學(xué)。授課教師應(yīng)了解信息技術(shù)在行業(yè)的實(shí)際應(yīng)用狀況，根據(jù)不同專業(yè)的特點(diǎn)，結(jié)合學(xué)生，的知識(shí)體系結(jié)構(gòu)精心準(zhǔn)備授課內(nèi)容，確定課程的重難點(diǎn)。在教學(xué)過程中，通過師生互動(dòng)了解學(xué)生對(duì)課程內(nèi)容的掌握程度，因材施教、精選案例、突出重點(diǎn)，從培養(yǎng)學(xué)生興趣與愛好入手，讓學(xué)生在輕松、愉悅的課堂教學(xué)中學(xué)習(xí)信息技術(shù)在專業(yè)領(lǐng)域的最新應(yīng)用，了解最新的前沿學(xué)科理念，學(xué)握較新的實(shí)用技術(shù)。教師如果在教學(xué)活動(dòng)中能及時(shí)、準(zhǔn)確地解決學(xué)生在學(xué)習(xí)實(shí)踐中遇到的疑難，并指導(dǎo)他們完成實(shí)訓(xùn)內(nèi)容，將有助于學(xué)生在學(xué)習(xí)過程中獲得成就感，激發(fā)學(xué)習(xí)的積極性、主動(dòng)性和創(chuàng)造性。教師動(dòng)手實(shí)踐能力將使得更多的學(xué)生得到有效指導(dǎo)和幫助，實(shí)現(xiàn)高質(zhì)量的課堂教學(xué)。
（五）探索高效教學(xué)模式根據(jù)高職人才培養(yǎng)目標(biāo)的要求，計(jì)算機(jī)課程的教學(xué)需要與時(shí)俱進(jìn)，隨著各行業(yè)大數(shù)據(jù)產(chǎn)業(yè)的不斷發(fā)展與應(yīng)用而不斷進(jìn)行調(diào)整、創(chuàng)新。通過對(duì)學(xué)生在校期間學(xué)習(xí)、生活的軌跡進(jìn)行搜集、整理，形成基礎(chǔ)數(shù)據(jù)，進(jìn)而分析他們的學(xué)習(xí)行為、學(xué)習(xí)喜好和思維模式，制定適合他們?nèi)姘l(fā)展的教學(xué)方法，有針對(duì)性地培養(yǎng)和提高他們的計(jì)算機(jī)應(yīng)用能力。利用各種輔助軟件，開展行之有效的教學(xué)實(shí)踐活動(dòng)，讓學(xué)生在“做中學(xué)，學(xué)中做”。提高各專業(yè)學(xué)生的計(jì)算機(jī)應(yīng)用操作能力，使他們掌握互聯(lián)網(wǎng)技術(shù)、計(jì)算機(jī)信息技術(shù)、電子商務(wù)等。以醫(yī)學(xué)影像技術(shù)專業(yè)為例，學(xué)生既要學(xué)會(huì)影像閱片操作，又要掌握最新的X線機(jī)、CT、MRI等先進(jìn)檢查設(shè)備的使用與操作。如果能夠?qū)⑨t(yī)學(xué)影像技術(shù)專業(yè)與計(jì)算機(jī)應(yīng)用實(shí)踐教學(xué)相結(jié)合，找出兩者的學(xué)科交叉點(diǎn)，構(gòu)建適合時(shí)展需要的復(fù)合型人才培養(yǎng)模式，將會(huì)起到事半功倍的作用。在大數(shù)據(jù)的背景下，各行各業(yè)都需要利用信息技術(shù)，特別是數(shù)據(jù)庫技術(shù)、大數(shù)據(jù)分析技術(shù)，用以改變生產(chǎn)、經(jīng)營、管理、工作、生活等的方式。因此各專業(yè)的畢業(yè)生都面臨著行業(yè)對(duì)大數(shù)據(jù)的使用與開發(fā)的迫切需求。培養(yǎng)學(xué)生解決問題的實(shí)際操作能力，顯得尤為重要。在專業(yè)課程的教學(xué)中，通過對(duì)大數(shù)據(jù)的應(yīng)用與計(jì)算機(jī)應(yīng)用技術(shù)的滲透，不但能激發(fā)學(xué)生學(xué)習(xí)專業(yè)技能的積極性，而且可以引導(dǎo)學(xué)生形成應(yīng)用計(jì)算機(jī)解決專業(yè)問題的思維模式，對(duì)他們將來適應(yīng)大數(shù)據(jù)環(huán)境下工作具有積極的引導(dǎo)意義。以專業(yè)培養(yǎng)目標(biāo)為基礎(chǔ)，合理對(duì)計(jì)算機(jī)課程進(jìn)行設(shè)置與安排教學(xué)，將大數(shù)據(jù)知識(shí)、信息技術(shù)知識(shí)、計(jì)算機(jī)應(yīng)用知識(shí)融入到各課程的教學(xué)中，構(gòu)建適合高職類學(xué)生學(xué)習(xí)特點(diǎn)的高效教學(xué)模式。
（六）加強(qiáng)師資隊(duì)伍建設(shè)加強(qiáng)師資隊(duì)伍建設(shè)是提高學(xué)生計(jì)算機(jī)應(yīng)用能力的關(guān)鍵。計(jì)算機(jī)應(yīng)用基礎(chǔ)課程的教師，首先應(yīng)該是計(jì)算機(jī)應(yīng)用方面的專家，既能掌握扎實(shí)的理論基礎(chǔ)知識(shí)，又能熟練地操作計(jì)算機(jī)，善于使用相關(guān)行業(yè)軟件。在教學(xué)中能夠起到良好的操作示范作用，給予學(xué)生無形的感染力和號(hào)召力，增強(qiáng)學(xué)習(xí)的主動(dòng)性與積極性。在實(shí)踐教學(xué)過程中，計(jì)算機(jī)任課教師不僅要與專業(yè)課教師緊密合作，整合校內(nèi)已有的專業(yè)資源和信息技術(shù)資源，充分利用好大數(shù)據(jù)，而且要與行業(yè)、企業(yè)加強(qiáng)聯(lián)系，采取走出去、引進(jìn)來的方式，讓學(xué)生在校期間就能充分接觸各種面向?qū)嶋H應(yīng)用的信息技術(shù)產(chǎn)品與工具。學(xué)校要制定行之有效的師資隊(duì)伍培養(yǎng)計(jì)劃，緊密結(jié)合企業(yè)、行業(yè)的實(shí)際需求，建設(shè)“雙師型”教師隊(duì)伍，加強(qiáng)現(xiàn)代信息技術(shù)應(yīng)用能力培訓(xùn)。教師應(yīng)深入企業(yè)、行業(yè)，了解企業(yè)人才需求，了解企業(yè)使用的最新應(yīng)用軟件動(dòng)態(tài)與進(jìn)展，充分利用好企業(yè)、行業(yè)大數(shù)據(jù)資源的研究最新成果，更新知識(shí)結(jié)構(gòu)，提高實(shí)踐操作水平。
1.計(jì)算機(jī)網(wǎng)絡(luò)安全概述。
計(jì)算機(jī)網(wǎng)絡(luò)安全，是指利用相關(guān)網(wǎng)絡(luò)管理控制與技術(shù)，確保在一個(gè)網(wǎng)絡(luò)環(huán)境中數(shù)據(jù)的完整性、保密性及可用性。計(jì)算機(jī)網(wǎng)絡(luò)安全，主要包括邏輯安全與物理安全兩個(gè)方面，其中，邏輯安全包括數(shù)據(jù)的保密性、完整性及可用性，防止沒有經(jīng)過授權(quán)對(duì)數(shù)據(jù)進(jìn)行隨意篡改或破壞的行為；物理安全包括相關(guān)設(shè)備與設(shè)施在受到物理保護(hù)的條件下保護(hù)設(shè)備上的數(shù)據(jù)免于丟失、破壞。
2.計(jì)算機(jī)網(wǎng)絡(luò)存在的主要安全問題。
目前，計(jì)算機(jī)已經(jīng)廣泛應(yīng)用于各行各業(yè)，人們對(duì)計(jì)算機(jī)網(wǎng)絡(luò)的認(rèn)識(shí)與利用水平也顯著提升，辦公、社交、生活等方方面面都離不開計(jì)算機(jī)網(wǎng)絡(luò)。計(jì)算機(jī)網(wǎng)絡(luò)在豐富和改變?nèi)藗兩畹耐瑫r(shí)，其存在的安全問題也不得不讓人們警醒，經(jīng)過筆者梳理，計(jì)算機(jī)網(wǎng)絡(luò)安全問題主要存在以下幾個(gè)方面：
1）網(wǎng)絡(luò)病毒所導(dǎo)致的安全問題。
在計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)快速發(fā)展的過程中，也出現(xiàn)了越來越多、感染力越來越強(qiáng)的新病毒，它們無時(shí)無刻地影響著計(jì)算機(jī)網(wǎng)絡(luò)的安全。由于計(jì)算機(jī)網(wǎng)絡(luò)病毒具有復(fù)制性，能夠感染其他程序和軟件，因此，一旦計(jì)算機(jī)中了病毒，其所運(yùn)行的每一步都將是危險(xiǎn)的，都會(huì)存在讓病毒也隨之運(yùn)行并產(chǎn)生破壞行為，然后應(yīng)用程序被破壞，機(jī)密數(shù)據(jù)被盜用或被破壞，甚至讓整個(gè)計(jì)算機(jī)系統(tǒng)癱瘓。
2）人為操作失誤所導(dǎo)致的安全問題。
在人們進(jìn)行計(jì)算機(jī)相關(guān)操作過程中，人為操作失誤可能會(huì)引起計(jì)算機(jī)的安全漏洞，或者泄露了某些重要的信息，而這些信息一旦被不發(fā)分子所利用，便會(huì)造成難以挽回的損失。
3）網(wǎng)絡(luò)黑客攻擊所導(dǎo)致的安全問題。
在大數(shù)據(jù)時(shí)代下，網(wǎng)絡(luò)黑客對(duì)計(jì)算機(jī)網(wǎng)絡(luò)的攻擊具有更隱蔽、破壞性更強(qiáng)的特點(diǎn)。由于在大數(shù)據(jù)時(shí)代下，網(wǎng)絡(luò)黑客通過非正常手段竊取到某一重要數(shù)據(jù)時(shí)，一旦其利用這些數(shù)據(jù)進(jìn)行非法行為時(shí)便會(huì)引起巨大的波及。同時(shí)，在海量的數(shù)據(jù)中，難以及時(shí)識(shí)別網(wǎng)絡(luò)黑客的攻擊行為，對(duì)于計(jì)算機(jī)網(wǎng)絡(luò)安全而言是一種嚴(yán)重的威脅。
4）網(wǎng)絡(luò)管理不到位所導(dǎo)致的安全問題。
在網(wǎng)絡(luò)安全維護(hù)中，網(wǎng)絡(luò)安全管理是非常重要的環(huán)節(jié)，但是目前很多使用計(jì)算機(jī)的個(gè)人乃至企業(yè)、政府部門并沒有對(duì)網(wǎng)絡(luò)安全管理引起足夠的重視，從事使得計(jì)算機(jī)網(wǎng)絡(luò)的安全受到各種威脅，最終導(dǎo)致大量的計(jì)算機(jī)網(wǎng)絡(luò)安全事件頻繁發(fā)生。五是，網(wǎng)絡(luò)系統(tǒng)自身的漏洞所導(dǎo)致的安全問題。理論上而言，一切計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)都存在某些漏洞。同時(shí)，在用戶使用各類程序、硬件過程中由于人為疏忽也會(huì)形成一些網(wǎng)絡(luò)系統(tǒng)漏洞。二者相比，后者的破壞性常常是巨大的，很多不法分子通過非法途徑給用戶造成計(jì)算機(jī)系統(tǒng)漏洞，進(jìn)而竊取用戶信息，給用戶造成巨大的損失。
二、大數(shù)據(jù)時(shí)代下的計(jì)算機(jī)網(wǎng)絡(luò)安全防范對(duì)策
1.加強(qiáng)病毒治理及防范工作。
在大數(shù)據(jù)時(shí)代，計(jì)算機(jī)病毒的種類與數(shù)量與日俱增，對(duì)其進(jìn)行治理與防范是較為困難的。在對(duì)計(jì)算機(jī)病毒進(jìn)行治理與防范時(shí)，筆者認(rèn)為最重要的是防范，這種防范是一種主動(dòng)的、積極的治理，可以通過加強(qiáng)計(jì)算機(jī)防火墻部署來提高網(wǎng)絡(luò)環(huán)境的安全性，將那些不穩(wěn)定的、危險(xiǎn)的網(wǎng)絡(luò)因素隔離在外，進(jìn)而實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)環(huán)境的安全保護(hù)。同時(shí)，計(jì)算機(jī)使用者樹立正確的病毒防范意識(shí)，在計(jì)算機(jī)日常使用中，能夠定期利用殺毒軟件對(duì)所使用的計(jì)算機(jī)網(wǎng)絡(luò)環(huán)境進(jìn)行殺毒，并更新病毒樣本庫，進(jìn)而確保對(duì)計(jì)算機(jī)網(wǎng)絡(luò)的掃描能及時(shí)識(shí)別計(jì)算機(jī)病毒并進(jìn)行及時(shí)的處理。
2.加強(qiáng)黑客防范工作。
隱藏在大數(shù)據(jù)背后的網(wǎng)絡(luò)黑客一旦實(shí)施其不法行為，常常會(huì)產(chǎn)生巨大的安全問題，因此，為了防范計(jì)算機(jī)網(wǎng)絡(luò)安全，應(yīng)當(dāng)積極整合大數(shù)據(jù)的海量信息優(yōu)勢(shì)，建立科學(xué)的網(wǎng)絡(luò)黑客防范攻擊的模型，以此來提升識(shí)別網(wǎng)絡(luò)黑客的反應(yīng)速度。通過加強(qiáng)計(jì)算機(jī)網(wǎng)絡(luò)的內(nèi)外網(wǎng)的割離、加強(qiáng)防火墻配置，能夠有效降低黑客攻擊的可能性。同時(shí)，還可以大力推廣數(shù)字認(rèn)證技術(shù)，加強(qiáng)對(duì)訪問數(shù)據(jù)的有效控制，并合理認(rèn)證，有效避免非法目的用戶的非法訪問，進(jìn)而提升對(duì)網(wǎng)絡(luò)安全的有效保護(hù)。
3.加強(qiáng)網(wǎng)絡(luò)安全管理。
使用計(jì)算機(jī)的個(gè)人及機(jī)構(gòu)，需要從思想上高度重視網(wǎng)絡(luò)安全管理的重要性，在熟悉大數(shù)據(jù)的特征與性能的基礎(chǔ)上采取安全的管理措施，時(shí)常關(guān)注網(wǎng)絡(luò)安全管理，從技術(shù)上給予網(wǎng)絡(luò)安全保障的同時(shí)，還需要通過有效的網(wǎng)絡(luò)安全管理來實(shí)現(xiàn)大數(shù)據(jù)時(shí)代下計(jì)算機(jī)網(wǎng)絡(luò)安全的防范目的。對(duì)于機(jī)構(gòu)而言，需要從宏觀上認(rèn)識(shí)到網(wǎng)絡(luò)安全管理的重要性，并建立動(dòng)態(tài)的、有序的、系統(tǒng)的管理規(guī)章，依托于云計(jì)算技術(shù)構(gòu)建一個(gè)更加高級(jí)的智慧平臺(tái)來加強(qiáng)網(wǎng)絡(luò)安全的防范，進(jìn)而確保網(wǎng)絡(luò)安全。對(duì)于個(gè)人而言，需要從主觀上認(rèn)識(shí)到網(wǎng)絡(luò)安全的重要行，在進(jìn)行計(jì)算機(jī)操作中，要養(yǎng)成規(guī)范化的、文明的使用計(jì)算機(jī)網(wǎng)絡(luò)的習(xí)慣，尤其是對(duì)于一些釣魚網(wǎng)站、非法鏈接，要從主觀上認(rèn)識(shí)到其危害，并做自我做起，將網(wǎng)絡(luò)安全問題盡可能消滅，不傳播有安全隱患的信息或鏈接。
4.加強(qiáng)網(wǎng)絡(luò)系統(tǒng)漏洞的修復(fù)工作。
大數(shù)據(jù)必將給教育帶來巨大的改變，曾經(jīng)依靠經(jīng)驗(yàn)和靈感的授課過程，將被以數(shù)據(jù)分析為主的決策分析所代替。而計(jì)算機(jī)教學(xué)既是大數(shù)據(jù)技術(shù)的傳播載體，更是最應(yīng)率先應(yīng)用大數(shù)據(jù)技術(shù)的課程。無論如何，大數(shù)據(jù)已經(jīng)就在我們眼前，已經(jīng)悄然改變著教學(xué)過程，也必將深度改變學(xué)校的計(jì)算機(jī)教育模式。
（一）計(jì)算機(jī)教學(xué)內(nèi)容的變化
隨著大數(shù)據(jù)技術(shù)的發(fā)展和大數(shù)據(jù)分析的成熟，大數(shù)據(jù)技術(shù)及應(yīng)用必然會(huì)成為各高校重要課程。現(xiàn)在，美國的學(xué)校已經(jīng)開設(shè)相關(guān)課程，比如，大數(shù)據(jù)分析統(tǒng)計(jì)基礎(chǔ)、大數(shù)據(jù)分布式計(jì)算、大數(shù)據(jù)挖掘與機(jī)器學(xué)習(xí)等。國內(nèi)一些高校也正在嘗試開設(shè)大數(shù)據(jù)課程，幫助學(xué)生了解大數(shù)據(jù)，學(xué)數(shù)據(jù)分析。下一步，大數(shù)據(jù)基礎(chǔ)、大數(shù)據(jù)分析、大數(shù)據(jù)處理的核心技術(shù)等等，必將成為計(jì)算機(jī)專業(yè)的必學(xué)內(nèi)容，也會(huì)成為高校重要的基礎(chǔ)課程。另外，計(jì)算機(jī)智能教學(xué)系統(tǒng)和教育測(cè)評(píng)軟件將更多地使用在教學(xué)中，以記錄學(xué)生的學(xué)習(xí)軌跡。而計(jì)算機(jī)專業(yè)的教師也必須熟練掌握大數(shù)據(jù)技術(shù)和分析方法。
（二）計(jì)算機(jī)教學(xué)思維的變化
原來的計(jì)算機(jī)教學(xué)基本是灌輸式教學(xué)，老師教授的是計(jì)算機(jī)基礎(chǔ)知識(shí)、C語言編程的模式、數(shù)據(jù)庫的基本架構(gòu)，等等。大數(shù)據(jù)和互聯(lián)網(wǎng)的發(fā)展必然會(huì)改變這種授課方式，使知識(shí)的接受方式呈現(xiàn)多元化傾向。隨著移動(dòng)互聯(lián)的發(fā)展，學(xué)生可以隨時(shí)隨地通過互聯(lián)網(wǎng)更便捷的獲取學(xué)習(xí)內(nèi)容。而課堂上單純的照本宣科、按部就班將不能吸引學(xué)生的注意力。因此，教師必須轉(zhuǎn)變教學(xué)思維，以更多的案例和互動(dòng)式教學(xué)，引導(dǎo)學(xué)生去尋找解決問題的辦法，尋找“芝麻開門”的鑰匙，只有如此才能讓學(xué)生有興趣待在課堂。同時(shí)，大數(shù)據(jù)帶來的將是對(duì)海量教學(xué)案例的數(shù)據(jù)分析，讓教師對(duì)計(jì)算機(jī)教學(xué)的難點(diǎn)及教授方法優(yōu)劣有了更加清晰的認(rèn)識(shí)，不必依靠教學(xué)經(jīng)驗(yàn)去判斷教學(xué)效果，完全可以駕輕就熟地進(jìn)行互動(dòng)教學(xué)，啟發(fā)學(xué)生尋找最優(yōu)解決方案，將是大數(shù)據(jù)時(shí)代下計(jì)算機(jī)教學(xué)的突出特點(diǎn)，這是對(duì)計(jì)算機(jī)專業(yè)教學(xué)思維帶來的革命性變化。
（三）計(jì)算機(jī)教學(xué)模式的變化
目前，計(jì)算機(jī)教學(xué)主要模式是備課—教授—上機(jī)—測(cè)試，教師主要的精力放在了課前備課。而大數(shù)據(jù)技術(shù)的應(yīng)用，將會(huì)讓教師把更多的精力放在課后分析上，形成“備課—教授—上機(jī)—測(cè)試—數(shù)據(jù)分析—改進(jìn)”的模式。在這個(gè)模式中，課后的數(shù)據(jù)分析將是整個(gè)教學(xué)過程的關(guān)鍵環(huán)節(jié)。通過大數(shù)據(jù)分析，可以對(duì)一個(gè)班的學(xué)生進(jìn)行整體學(xué)習(xí)行為評(píng)價(jià)，可以對(duì)學(xué)生上機(jī)測(cè)試情況進(jìn)行細(xì)化分析，可以對(duì)每個(gè)學(xué)生的學(xué)習(xí)習(xí)慣進(jìn)行學(xué)習(xí)評(píng)估，分析學(xué)生的學(xué)習(xí)中偏好、難點(diǎn)以及共同點(diǎn)等，從而得出學(xué)習(xí)過程中的規(guī)律，改進(jìn)教學(xué)方式，提高教學(xué)質(zhì)量。
（四）個(gè)性化教學(xué)的深入開展
大數(shù)據(jù)技術(shù)的發(fā)展，使建立覆蓋學(xué)生學(xué)習(xí)全過程、全要素的信息庫成為可能，學(xué)生大量的試卷、課堂表現(xiàn)留存，學(xué)生的學(xué)習(xí)經(jīng)歷及成長(zhǎng)軌跡，學(xué)生的家庭情況等等，都將被涵蓋在大數(shù)據(jù)分析中。另外，前述的計(jì)算機(jī)智能教學(xué)系統(tǒng)和教育測(cè)評(píng)軟件，將詳細(xì)記錄學(xué)生每次答題的背景、過程和結(jié)果。這些信息讓教學(xué)分析變得更加容易，教師可以利用數(shù)據(jù)挖掘的關(guān)聯(lián)分析和演變分析等功能，依靠學(xué)生的某些學(xué)習(xí)特征，比如答題持續(xù)時(shí)間，具體回答步驟和內(nèi)容（可以細(xì)化到每次擊鍵和每個(gè)筆劃），答對(duì)的要素和答錯(cuò)的要素等等，在學(xué)生管理數(shù)據(jù)庫中挖掘有價(jià)值的數(shù)據(jù)，并分析學(xué)生的日常行為，研究各種行為的內(nèi)在聯(lián)系，來據(jù)此形成針對(duì)學(xué)生個(gè)性化的教學(xué)策略，以幫助學(xué)生在學(xué)習(xí)方面取得更大的突破。
二、小結(jié)
大數(shù)據(jù)背景下的機(jī)器算法
專業(yè)
計(jì)算機(jī)科學(xué)與技術(shù)
學(xué)生姓名
楊宇瀟
學(xué)號(hào)
181719251864
一、 選題的背景、研究現(xiàn)狀與意義
為什么大數(shù)據(jù)分析很重要？大數(shù)據(jù)分析可幫助組織利用其數(shù)據(jù)并使用它來識(shí)別新的機(jī)會(huì)。反過來，這將導(dǎo)致更明智的業(yè)務(wù)移動(dòng)，更有效的運(yùn)營，更高的利潤(rùn)和更快樂的客戶。
在許多早期的互聯(lián)網(wǎng)和技術(shù)公司的支持下，大數(shù)據(jù)在2000年代初的數(shù)據(jù)熱潮期間出現(xiàn)。有史以來第一次，軟件和硬件功能是消費(fèi)者產(chǎn)生的大量非結(jié)構(gòu)化信息。搜索引擎，移動(dòng)設(shè)備和工業(yè)機(jī)械等新技術(shù)可提供公司可以處理并持續(xù)增長(zhǎng)的數(shù)據(jù)。隨著可以收集的天文數(shù)據(jù)數(shù)量的增長(zhǎng)，很明顯，傳統(tǒng)數(shù)據(jù)技術(shù)（例如數(shù)據(jù)倉庫和關(guān)系數(shù)據(jù)庫）不適合與大量非結(jié)構(gòu)化數(shù)據(jù)一起使用。 Apache軟件基金會(huì)啟動(dòng)了第一個(gè)大數(shù)據(jù)創(chuàng)新項(xiàng)目。最重要的貢獻(xiàn)來自Google，Yahoo，F(xiàn)acebook，IBM，Academia等。最常用的引擎是：ApacheHive / Hadoop是復(fù)雜數(shù)據(jù)準(zhǔn)備和ETL的旗艦，可以為許多數(shù)據(jù)存儲(chǔ)或分析環(huán)境提供信息以進(jìn)行深入分析。 Apache Spark（由加州大學(xué)伯克利分校開發(fā)）通常用于大容量計(jì)算任務(wù)。這些任務(wù)通常是批處理ETL和ML工作負(fù)載，但與Apache Kafka等技術(shù)結(jié)合使用。
隨著數(shù)據(jù)呈指數(shù)級(jí)增長(zhǎng)，企業(yè)必須不斷擴(kuò)展其基礎(chǔ)架構(gòu)以最大化其數(shù)據(jù)的經(jīng)濟(jì)價(jià)值。在大數(shù)據(jù)的早期（大約2008年），Hadoop被大公司首次認(rèn)可時(shí)，維護(hù)有用的生產(chǎn)系統(tǒng)非常昂貴且效率低下。要使用大數(shù)據(jù)，您還需要適當(dāng)?shù)娜藛T和軟件技能，以及用于處理數(shù)據(jù)和查詢速度的硬件。協(xié)調(diào)所有內(nèi)容同時(shí)運(yùn)行是一項(xiàng)艱巨的任務(wù)，許多大數(shù)據(jù)項(xiàng)目都將失敗。如今，云計(jì)算已成為市場(chǎng)瞬息萬變的趨勢(shì)。因?yàn)楦鞣N規(guī)模的公司都可以通過單擊幾下立即訪問復(fù)雜的基礎(chǔ)架構(gòu)和技術(shù)。在這里，云提供了強(qiáng)大的基礎(chǔ)架構(gòu)，使企業(yè)能夠勝過現(xiàn)有系統(tǒng)。
二、 擬研究的主要內(nèi)容（提綱）和預(yù)期目標(biāo)
隨著行業(yè)中數(shù)據(jù)量的爆炸性增長(zhǎng)，大數(shù)據(jù)的概念越來越受到關(guān)注。 由于大數(shù)據(jù)的大，復(fù)雜和快速變化的性質(zhì)，許多用于小數(shù)據(jù)的傳統(tǒng)機(jī)器學(xué)習(xí)算法不再適用于大數(shù)據(jù)環(huán)境中的應(yīng)用程序問題。 因此，在大數(shù)據(jù)環(huán)境下研究機(jī)器學(xué)習(xí)算法已成為學(xué)術(shù)界和業(yè)界的普遍關(guān)注。 本文主要討論和總結(jié)用于處理大數(shù)據(jù)的機(jī)器學(xué)習(xí)算法的研究現(xiàn)狀。 另外，由于并行處理是處理大數(shù)據(jù)的主要方法，因此我們介紹了一些并行算法，介紹了大數(shù)據(jù)環(huán)境中機(jī)器學(xué)習(xí)研究所面臨的問題，最后介紹了機(jī)器學(xué)習(xí)的研究趨勢(shì)，我們的目標(biāo)就是研究數(shù)據(jù)量大的情況下算法和模型的關(guān)系，同時(shí)也會(huì)探討大部分細(xì)分行業(yè)數(shù)據(jù)量不大不小的情況下算法的關(guān)系。
三、 擬采用的研究方法（思路、技術(shù)路線、可行性分析論證等）
1.視覺分析。大數(shù)據(jù)分析用戶包括大數(shù)據(jù)分析專業(yè)人士和一般用戶，但是大數(shù)據(jù)分析的最基本要求是視覺分析。視覺分析直觀地介紹了大數(shù)據(jù)的特征，并像閱讀照片的讀者一樣容易接受。 2.數(shù)據(jù)挖掘算法。大數(shù)據(jù)分析的理論中心是數(shù)據(jù)挖掘算法。不同的數(shù)據(jù)挖掘算法依賴于不同的數(shù)據(jù)類型和格式來更科學(xué)地表征數(shù)據(jù)本身。由于它們被全世界的統(tǒng)計(jì)學(xué)家所公認(rèn)，因此各種統(tǒng)計(jì)方法（稱為真值）可以深入到數(shù)據(jù)中并挖掘公認(rèn)的值。另一方面是這些數(shù)據(jù)挖掘算法可以更快地處理大數(shù)據(jù)。如果該算法需要花費(fèi)幾年時(shí)間才能得出結(jié)論，那么大數(shù)據(jù)的價(jià)值是未知的。 3.預(yù)測(cè)分析。大數(shù)據(jù)分析的最后一個(gè)應(yīng)用領(lǐng)域是預(yù)測(cè)分析，發(fā)現(xiàn)大數(shù)據(jù)功能，科學(xué)地建立模型以及通過模型吸收新數(shù)據(jù)以預(yù)測(cè)未來數(shù)據(jù)。 4.語義引擎。非結(jié)構(gòu)化數(shù)據(jù)的多樣化為數(shù)據(jù)分析提出了新的挑戰(zhàn)。您需要一套工具來分析和調(diào)整數(shù)據(jù)。語義引擎必須設(shè)計(jì)有足夠的人工智能，以主動(dòng)從數(shù)據(jù)中提取信息。 5.數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理。大數(shù)據(jù)分析是數(shù)據(jù)質(zhì)量和數(shù)據(jù)管理的組成部分。高質(zhì)量的數(shù)據(jù)和有效的數(shù)據(jù)管理確保了分析結(jié)果在學(xué)術(shù)研究和商業(yè)應(yīng)用中的可靠性和價(jià)值。大數(shù)據(jù)分析的基礎(chǔ)是前五個(gè)方面。當(dāng)然，如果您更深入地研究大數(shù)據(jù)分析，則還有更多特征，更深入，更專業(yè)的大數(shù)據(jù)分析方法。
四、 論文（設(shè)計(jì)）的工作進(jìn)度安排
2020.03.18-2020.03.20 明確論文內(nèi)容，進(jìn)行相關(guān)論文資料的查找與翻譯。2020.04.04-2020.04.27：撰寫開題報(bào)告 。
2020.04.28-2020.04.30 ：設(shè)計(jì)實(shí)驗(yàn)。
2020.05.01-2020.05.07 ：開展實(shí)驗(yàn)。
2020.05.08-2020.05.15 ：準(zhǔn)備中期檢查。
2020.05.16-2020.05.23：根據(jù)中期檢查的問題，進(jìn)一步完善實(shí)驗(yàn)2020.05.24-2020.05.28 ：完成論文初稿。
2020.05.29-2020.06.26 ：論文修改完善。
五、 參考文獻(xiàn)（不少于5篇）
1 . 王偉,王珊,杜小勇,覃雄派,王會(huì)舉.大數(shù)據(jù)分析——rdbms與mapreduce的競(jìng)爭(zhēng)與共生 .計(jì)算機(jī)光盤軟件與應(yīng)用,2012.被引量：273.
2 . 喻國明. 大數(shù)據(jù)分析下的中國社會(huì)輿情:總體態(tài)勢(shì)與結(jié)構(gòu)性特征——基于百度熱搜詞(2009—2 012)的輿情模型構(gòu)建.中國人民大學(xué)學(xué)報(bào),2013.被引量：9. 3 . 李廣建,化柏林.大數(shù)據(jù)分析與情報(bào)分析關(guān)系辨析.中國圖書館學(xué)報(bào),2014.被引量：16.
4 . 王智,于戈,郭朝鵬,張一川,宋杰.大數(shù)據(jù)分析的分布式molap技術(shù) .軟件學(xué)報(bào),2014.被引量：6.
5 . 王德文,孫志偉.電力用戶側(cè)大數(shù)據(jù)分析與并行負(fù)荷預(yù)測(cè) .中國電機(jī)工程學(xué)報(bào),2015.被引量：19.
6 . 江秀臣,杜修明,嚴(yán)英杰,盛戈皞,陳玉峰 ,郭志紅.基于大數(shù)據(jù)分析的輸變電設(shè)備狀態(tài)數(shù)據(jù)異常檢測(cè)方法 .中國電機(jī)工程學(xué)報(bào),2015.被引量：8.
7 . 喻國明. 呼喚“社會(huì)最大公約數(shù)”:2012年社會(huì)輿情運(yùn)行態(tài)勢(shì)研究——基于百度熱搜詞的大 數(shù)據(jù)分析.編輯之友,2013.被引量：4.
六、指導(dǎo)教師意見
簽字： 年 月 日
七、學(xué)院院長(zhǎng)意見及簽字
1.1大數(shù)據(jù)的發(fā)展
通過對(duì)大數(shù)據(jù)的匯集、智能分析和挖掘技術(shù)，發(fā)現(xiàn)數(shù)據(jù)中的潛在價(jià)值信息，幫助人們做出正確決策，這就是大數(shù)據(jù)產(chǎn)業(yè)的利益。國外大數(shù)據(jù)的起步比較早，比較成功的大數(shù)據(jù)應(yīng)用案例有：商業(yè)龍頭沃爾瑪公司通過對(duì)消費(fèi)者的購物數(shù)據(jù)進(jìn)行分析，了解顧客的行為喜好，對(duì)超市的商品結(jié)構(gòu)進(jìn)行搭配重置以增加銷售額；亞馬遜公司通過大數(shù)據(jù)構(gòu)建自己的推薦系統(tǒng)，每年可以靠此多收益20%；奧巴馬通過大數(shù)據(jù)分析系統(tǒng)進(jìn)行數(shù)據(jù)挖掘，用科學(xué)的手段獲取選票、募集資金，贏得了總統(tǒng)競(jìng)選的勝利。相比于國外，國內(nèi)的大數(shù)據(jù)研究和應(yīng)用還處于起步和發(fā)展中的階段，比較成功的案例有：淘寶數(shù)據(jù)魔方平臺(tái)，通過大數(shù)據(jù)，為買家量身打造完善的購物體驗(yàn)產(chǎn)品；新浪微博大數(shù)據(jù)產(chǎn)品，通過大量的社交數(shù)據(jù)，創(chuàng)造不同的社會(huì)經(jīng)濟(jì)價(jià)值等。
1.2云計(jì)算的發(fā)展
云計(jì)算可以像電力資源一樣提供彈性的按需服務(wù)，事實(shí)上它是集合了一系列的服務(wù)提供給用戶。云計(jì)算的核心可分為三個(gè)層次，分別為基礎(chǔ)設(shè)施層、平臺(tái)層、應(yīng)用層，如圖2所示。云計(jì)算將基礎(chǔ)設(shè)施、軟件運(yùn)行環(huán)境、應(yīng)用程序抽象成服務(wù)，具有可靠性高、可用性強(qiáng)、規(guī)?？缮炜s等特點(diǎn)，滿足了不同企業(yè)的發(fā)展需求，各個(gè)云服務(wù)提供商根據(jù)各自服務(wù)對(duì)象的差別分別開發(fā)了各具特色的云服務(wù)。（1）基礎(chǔ)設(shè)施即服務(wù)層基礎(chǔ)設(shè)施即服務(wù)（InfrastructureasaService，IaaS）層通過部署硬件基礎(chǔ)設(shè)施對(duì)外提供服務(wù)，用戶可以根據(jù)各自的需求購買虛擬或?qū)嶓w的計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等資源。用戶可以在購買的空間內(nèi)部署和運(yùn)行軟件，包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不能管理或控制任何云計(jì)算基礎(chǔ)設(shè)施，但能控制操作系統(tǒng)的選擇、存儲(chǔ)空間、部署的應(yīng)用，也有可能獲得有限制的網(wǎng)絡(luò)組件（如防火墻、負(fù)載均衡器等）的控制。云服務(wù)提供商為了使硬件資源得到更有效的利用，引入了Xen、KVM、VMware等虛擬化技術(shù)，使得云服務(wù)商可以提供更個(gè)性化的IaaS服務(wù)。亞馬遜彈性云計(jì)算（AmazonElasticComputeCloud，AmazonEC2）是亞馬遜Web服務(wù)產(chǎn)品之一，AmazonEC2利用其全球性的數(shù)據(jù)中心網(wǎng)絡(luò)，為客戶提供虛擬主機(jī)服務(wù)，讓使用者可以租用云服務(wù)運(yùn)行所需應(yīng)用的系統(tǒng)。（2）平臺(tái)即服務(wù)層平臺(tái)即服務(wù)（PlatformasaService，PaaS）層是指云計(jì)算應(yīng)用程序開發(fā)和部署的平臺(tái)，包括應(yīng)用設(shè)計(jì)、應(yīng)用開發(fā)、應(yīng)用測(cè)試和應(yīng)用托管，都作為一種服務(wù)提供給客戶。開發(fā)者只需要上傳代碼和數(shù)據(jù)就可以使用云服務(wù)，而無需關(guān)注底層的具體實(shí)現(xiàn)方式和管理模式。鑒于PaaS平臺(tái)的重要意義，國內(nèi)外廠商根據(jù)各自的戰(zhàn)略提出了相應(yīng)的PaaS平臺(tái)，國外的如GoogleAppEngine（GAE），通過GAE，即使在重載和數(shù)據(jù)量極大的情況下，也可以輕松構(gòu)建能安全運(yùn)行的應(yīng)用程序。國內(nèi)也有新浪的SAE（SinaAppEngine）、阿里的ACE（AliyunCloudEnginee）等。（3）軟件即服務(wù)層軟件即服務(wù)（SoftasaService，SaaS）層是為云計(jì)算終端用戶提供基于互聯(lián)網(wǎng)軟件應(yīng)用服務(wù)的平臺(tái)。隨著Web服務(wù)、HTML5、AJAX、Mashup等技術(shù)的成熟與標(biāo)準(zhǔn)化，SaaS應(yīng)用近年來發(fā)展迅速，典型的SaaS應(yīng)用包括GoogleApps、SalesforceCRM等。國外云計(jì)算平臺(tái)比較成功的應(yīng)用案例有：亞馬遜電子商務(wù)網(wǎng)站根據(jù)用戶的購買行為和搜索技術(shù)搭建Hadoop集群，構(gòu)建推薦系統(tǒng)；Twitter社交網(wǎng)站搭建Hadoop分布式系統(tǒng)用于用戶關(guān)聯(lián)的建立。國內(nèi)云計(jì)算平臺(tái)的成功案例有：阿里巴巴目前整個(gè)集群達(dá)到1700個(gè)節(jié)點(diǎn)，數(shù)據(jù)容量達(dá)到24.3PB，并且以每天255TB的速率不斷攀升；2013年，華為推出國內(nèi)首個(gè)運(yùn)營云平臺(tái)，目前為止與該平臺(tái)簽訂協(xié)議的ISV有3000多家。
1.3云計(jì)算相關(guān)技術(shù)
（1）分布式文件系統(tǒng)分布式文件系統(tǒng)（GoogleFileSystem，GFS）[3]是Google公司針對(duì)云計(jì)算過程處理海量數(shù)據(jù)而專門設(shè)計(jì)的。一個(gè)GFS集群由一個(gè)主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)組成，用戶可以通過客戶端訪問文件系統(tǒng)，進(jìn)行正常的文件處理工作。在云計(jì)算中，海量數(shù)據(jù)文件被分割成多個(gè)固定大小的數(shù)據(jù)塊，這些數(shù)據(jù)塊被自動(dòng)分配到不同的從節(jié)點(diǎn)存儲(chǔ)，并會(huì)在多個(gè)節(jié)點(diǎn)進(jìn)行備份存儲(chǔ)，以免數(shù)據(jù)丟失。主服務(wù)器管理文件系統(tǒng)記錄文件的各種屬性，包括文件名、訪問控制權(quán)限、文件存儲(chǔ)塊映射、塊物理信息等數(shù)據(jù)。正是通過這個(gè)表，文件系統(tǒng)可以準(zhǔn)確地找到文件存儲(chǔ)的位置，避免數(shù)據(jù)丟失，保證數(shù)據(jù)安全。圖3是GFS的體系結(jié)構(gòu)示意，每一個(gè)節(jié)點(diǎn)都是普通的Linux服務(wù)器，GFS的工作就是協(xié)調(diào)成百上千的服務(wù)器為各種應(yīng)用提供服務(wù)。（2）分布式并行數(shù)據(jù)庫BigTableBigTable[4]是一個(gè)為管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲(chǔ)系統(tǒng)，可以擴(kuò)展到PB級(jí)數(shù)據(jù)和上千臺(tái)服務(wù)器。很多Google的項(xiàng)目使用BigTable存儲(chǔ)數(shù)據(jù)，這些應(yīng)用對(duì)BigTable提出了不同的挑戰(zhàn)，比如對(duì)數(shù)據(jù)規(guī)模的要求、對(duì)時(shí)延的要求。BigTable能滿足這些多變的要求，為這些產(chǎn)品成功地提供了靈活、高性能的存儲(chǔ)解決方案。BigTable采用的鍵是三維的，分別是行鍵（RowKey）、列鍵（ColumnKey）和時(shí)間戳（Timestamp）。行鍵和列鍵都是字節(jié)串，時(shí)間戳是64位整型；值是一個(gè)字節(jié)串，可以用（row:string,column:string,time:int64）string來表示一條鍵值對(duì)記錄。（3）分布式計(jì)算框架MapReduceMapReduce[5]是Google公司提出的大數(shù)據(jù)技術(shù)計(jì)算框架，被廣泛應(yīng)用于數(shù)據(jù)挖掘、海量數(shù)據(jù)處理以及機(jī)器學(xué)習(xí)等領(lǐng)域，由于其并行化處理數(shù)據(jù)的強(qiáng)大能力，越來越多的廠商根據(jù)MapReduce思想開發(fā)了各自的云計(jì)算平臺(tái)，其中以Apache公司的Hadoop最為典型。MapReduce由Map和Reduce兩個(gè)階段組成。用戶只需要編寫簡(jiǎn)單的map()和reduce()函數(shù)就可以完成復(fù)雜分布式程序設(shè)計(jì)，而不用了解計(jì)算框架的底層實(shí)現(xiàn)。MapReduce的數(shù)據(jù)分析流程如圖4所示。分布在不同服務(wù)器節(jié)點(diǎn)上的海量數(shù)據(jù)首先通過split()函數(shù)被拆分成Key/Value鍵值對(duì)，map()函數(shù)以該鍵值對(duì)為輸入，將該鍵值對(duì)進(jìn)行函數(shù)處理，產(chǎn)生一系列的中間結(jié)果并存入磁盤。MapReduce的中間過程shuffle()將所有具有相同Key值的鍵值對(duì)傳遞給Reduce環(huán)節(jié)，Reduce會(huì)收集中間結(jié)果，并將相同的Value值合并，完成所有工作后將結(jié)果輸出給用戶。MapReduce是一個(gè)并行的計(jì)算框架，主要體現(xiàn)在不同的服務(wù)器節(jié)點(diǎn)同時(shí)啟動(dòng)相同的工作，并且在每個(gè)獨(dú)立的服務(wù)器節(jié)點(diǎn)上又可以啟動(dòng)多個(gè)map()、reduce()并行計(jì)算。
2基于云計(jì)算的大數(shù)據(jù)處理
目前大數(shù)據(jù)處理的基本流程如圖5所示，整個(gè)流程經(jīng)過數(shù)據(jù)源的采集，用不同的方式進(jìn)行處理和加工，形成標(biāo)準(zhǔn)的格式，存儲(chǔ)下來；然后用合適的數(shù)據(jù)計(jì)算處理方式將數(shù)據(jù)推送到數(shù)據(jù)分析和挖掘平臺(tái)，通過有效的數(shù)據(jù)分析和挖掘手段，找出大數(shù)據(jù)中有價(jià)值的信息；最后通過可視化技術(shù)將信息展現(xiàn)給人們。
2.1數(shù)據(jù)采集存儲(chǔ)
大數(shù)據(jù)具有不同結(jié)構(gòu)的數(shù)據(jù)（包括結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)），針對(duì)不同類型的數(shù)據(jù)，在進(jìn)行云計(jì)算的分布采集時(shí)，需要選擇不同的數(shù)據(jù)采集方式收集數(shù)據(jù)，這也是大數(shù)據(jù)處理中最基礎(chǔ)的一步。采集到的數(shù)據(jù)并不是都適合推送到后面的平臺(tái)，需要對(duì)其進(jìn)一步處理，例如來源不同的數(shù)據(jù)，需要對(duì)其進(jìn)行加載合并；數(shù)據(jù)存在噪聲或者干擾點(diǎn)的，需要對(duì)其進(jìn)行“清洗”和“去噪”等操作，從而保障數(shù)據(jù)的有效性；數(shù)據(jù)的格式或者量綱不統(tǒng)一的，需要對(duì)其進(jìn)行標(biāo)準(zhǔn)化等轉(zhuǎn)換處理；最后處理生成的數(shù)據(jù)，通過特定的數(shù)據(jù)庫，如NoSQL數(shù)據(jù)（Google的BigTable，Amazon的Dynamo）進(jìn)行存儲(chǔ)，方便進(jìn)行下一步的數(shù)據(jù)讀取。由于傳統(tǒng)的數(shù)據(jù)倉庫無法適應(yīng)大數(shù)據(jù)的存儲(chǔ)要求，目前基于云計(jì)算的數(shù)據(jù)倉庫都是采用列式存儲(chǔ)。列式存儲(chǔ)的數(shù)據(jù)具有相同的數(shù)據(jù)類型，可以大大提高數(shù)據(jù)的壓縮率，例如華為的云存儲(chǔ)服務(wù)MOS（MassiveObjectService）的數(shù)據(jù)持久性高達(dá)99.9%，同時(shí)提供高效率的端到端保障。
2.2數(shù)據(jù)計(jì)算模式
這一環(huán)節(jié)需要根據(jù)處理的數(shù)據(jù)類型和既定目標(biāo)，選擇合適的計(jì)算模型處理數(shù)據(jù)。由于數(shù)據(jù)量的龐大，會(huì)消耗大量的計(jì)算資源，因此，傳統(tǒng)的計(jì)算技術(shù)很難使用大數(shù)據(jù)的環(huán)境條件，取而代之的是分而治之的分布式計(jì)算模式，具有代表性的幾種計(jì)算模式的特點(diǎn)見表1。采用批處理方式計(jì)算的Hadoop平臺(tái)，例如，F(xiàn)acebook擁有全球最大規(guī)模的Hadoop集群，集群機(jī)器目前超過3000臺(tái)，CPU核心更是超過30000個(gè)，可以存儲(chǔ)的數(shù)據(jù)量能夠達(dá)到驚人的40PB；采用流處理方式計(jì)算的Storm平臺(tái)分布式計(jì)算的時(shí)延比Hadoop更??；實(shí)時(shí)處理方式計(jì)算的Spark是一種基于內(nèi)存的計(jì)算模式，例如，Yahoo運(yùn)用Spark技術(shù)在廣告營銷中實(shí)時(shí)尋找目標(biāo)用戶，目前在Yahoo部署的Spark集群有112臺(tái)節(jié)點(diǎn)和9.2TB內(nèi)存；交互處理方式計(jì)算的Dremel在處理PB級(jí)別的數(shù)據(jù)時(shí)耗時(shí)可以縮短至秒級(jí)，并且無需大量的并發(fā)。
2.3數(shù)據(jù)分析挖掘
數(shù)據(jù)分析挖掘環(huán)節(jié)是從海量數(shù)據(jù)中發(fā)現(xiàn)隱藏規(guī)律和有價(jià)值信息的過程，這個(gè)環(huán)節(jié)是大數(shù)據(jù)處理流程最為有價(jià)值和核心的部分，傳統(tǒng)的數(shù)據(jù)分析方法有機(jī)器學(xué)習(xí)、商業(yè)智能等。傳統(tǒng)的數(shù)據(jù)挖掘十大算法[6]（其中有K-Means、Na觙veBayes、SVM、EM、Apriori等）在云計(jì)算環(huán)境下都得到了大幅度的并行優(yōu)化，在大數(shù)據(jù)的背景下，計(jì)算速度得到了很大程度的提升?，F(xiàn)在新興的深度學(xué)習(xí)是原始機(jī)器學(xué)習(xí)的一個(gè)新領(lǐng)域，動(dòng)機(jī)是在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，這種新的數(shù)據(jù)分析挖掘技術(shù)已經(jīng)在計(jì)算機(jī)視覺、語音識(shí)別、自然語言處理等領(lǐng)域有了成功的應(yīng)用。
2.4數(shù)據(jù)解釋展現(xiàn)
將挖掘出來的復(fù)雜信息進(jìn)行數(shù)據(jù)解釋和展現(xiàn)是整個(gè)大數(shù)據(jù)處理流程的最后一個(gè)環(huán)節(jié)，數(shù)據(jù)分析的結(jié)果需要向客戶進(jìn)行恰當(dāng)?shù)恼宫F(xiàn)。與傳統(tǒng)的數(shù)據(jù)輸出和文本展示等方式不同，現(xiàn)在絕大部分的企業(yè)都通過引進(jìn)“數(shù)據(jù)可視化”技術(shù)來展示大數(shù)據(jù)分析的結(jié)果信息，這種方式以圖像、動(dòng)畫等方式，形象地向客戶展現(xiàn)數(shù)據(jù)處理分析的結(jié)果，也容易被客戶理解和接受，更為先進(jìn)的是，現(xiàn)在逐步形成的“交互式可視化技術(shù)”，大大地方便了數(shù)據(jù)與人之間的“親密交流”。目前面向大數(shù)據(jù)主流應(yīng)用的可視化技術(shù)見表2。
3大數(shù)據(jù)和云計(jì)算的未來挑戰(zhàn)
大數(shù)據(jù)需要超大存儲(chǔ)容量的計(jì)算能力，云計(jì)算作為一種新的計(jì)算模式，為大數(shù)據(jù)的應(yīng)用研究提供了技術(shù)支持，大數(shù)據(jù)和云計(jì)算的完美結(jié)合，相得益彰，發(fā)揮了各自的最大優(yōu)勢(shì)，為社會(huì)創(chuàng)造了巨大的價(jià)值。雖然國內(nèi)大數(shù)據(jù)和云計(jì)算的研究還是處于初步階段，但隨著研究的不斷進(jìn)行，所面臨的問題也越來越多。在大數(shù)據(jù)向前不斷邁進(jìn)的階段里，如何讓我們對(duì)大數(shù)據(jù)的研究朝著有利于全人類的方向發(fā)展成為了重中之重。
3.1重要戰(zhàn)略資源
在這個(gè)信息社會(huì)里，大數(shù)據(jù)將會(huì)成為眾多企業(yè)甚至是國家層面的重要戰(zhàn)略資源。國家層面要將大數(shù)據(jù)上升為國家戰(zhàn)略。奧巴馬在2012年3月將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策，像陸權(quán)、海權(quán)、空權(quán)一樣，將數(shù)據(jù)的占有和控制作為重要的國家核心能力。大數(shù)據(jù)資源也會(huì)成為各種機(jī)構(gòu)和企業(yè)的重要資產(chǎn)以及提升企業(yè)社會(huì)競(jìng)爭(zhēng)力的有力武器。在大數(shù)據(jù)市場(chǎng)里，客戶的各種數(shù)據(jù)信息都會(huì)為企業(yè)創(chuàng)造價(jià)值，也會(huì)在促進(jìn)消費(fèi)水平、提高廣告效應(yīng)等方面扮演重要的角色。
3.2數(shù)據(jù)隱私安全
大數(shù)據(jù)如果運(yùn)用得當(dāng)，可以有效地幫助相關(guān)領(lǐng)域做出幫助和決策，但若這些數(shù)據(jù)被泄露和竊取，隨之而來的將是個(gè)人信息及財(cái)產(chǎn)的安全問題得不到保障。2011年索尼公司遭到黑客攻擊，造成一億份客戶資料泄露，經(jīng)濟(jì)虧損約1.71億美元。為了解決大數(shù)據(jù)的數(shù)據(jù)隱私安全問題，Roy等在2010年提出了一種隱私保護(hù)系統(tǒng)，將信息流控制和差分隱私保護(hù)技術(shù)融入到云計(jì)算平臺(tái)中，防止MapReduce計(jì)算過程中的數(shù)據(jù)泄露問題。在數(shù)據(jù)更新飛速的情況下，如何維護(hù)數(shù)據(jù)的隱私安全成為大數(shù)據(jù)時(shí)代研究的重點(diǎn)方向。
3.3智慧城市
人口的增長(zhǎng)給城市交通、醫(yī)療、建筑等各方面帶來了不小的壓力，智慧城市就是依靠大數(shù)據(jù)和云計(jì)算技術(shù)，實(shí)現(xiàn)城市高效的管理、便捷的民生服務(wù)、可持續(xù)的產(chǎn)業(yè)發(fā)展。在剛剛結(jié)束的“兩會(huì)”的政府工作報(bào)告中，總理也特意強(qiáng)調(diào)了智慧城市發(fā)展的重要性，目前國家智慧城市試點(diǎn)已遍布全國各地，多達(dá)409個(gè)。智慧安防、智慧交通、智慧醫(yī)療等都是智慧城市應(yīng)用領(lǐng)域。智慧城市的建設(shè)也趨使大數(shù)據(jù)人才的培養(yǎng)。據(jù)預(yù)測(cè)，到2015年，大數(shù)據(jù)將會(huì)出現(xiàn)約100萬的人才缺口，全球?qū)⑿略?40萬個(gè)與大數(shù)據(jù)相關(guān)的工作崗位來填補(bǔ)這個(gè)空缺。
3.4能源消耗
