論文：大數據在高校中的應用研究

　　高校大數據及其處理架構

　　高校中匯聚著(zhù)大量的信息，從學(xué)生角度來(lái)看，包括聯(lián)系方式等基本信息，食堂消費、住宿晚歸等生活信息，選課、課后作業(yè)、借閱圖書(shū)、成績(jì)等學(xué)習信息，參與的社團、競賽、講座等第二課堂信息;從教師角度來(lái)看，包含教學(xué)任務(wù)、課件等教學(xué)信息，論文著(zhù)作、科學(xué)研究數據等科研信息;從管理者的角度來(lái)看，包含學(xué)校的資產(chǎn)信息、師資信息、招生就業(yè)信息等。同時(shí)隨著(zhù)移動(dòng)互聯(lián)網(wǎng)以及物聯(lián)網(wǎng)等新技術(shù)的興起，學(xué)校師生主動(dòng)產(chǎn)生和由設備自動(dòng)收集的信息越來(lái)越多，如微博、微信等社交信息，各類(lèi)搜索點(diǎn)擊記錄信息等。上述信息存在著(zhù)數據量大、結構復雜、產(chǎn)生頻率快的特點(diǎn)。這導致利用常用軟件工具捕獲、管理和處理此類(lèi)數據所耗費時(shí)問(wèn)超過(guò)了可容忍的時(shí)問(wèn)。

　　大數據的處理流程與一般數據的處理過(guò)程類(lèi)似，可以定義為在合適工具的輔助下對廣泛異構的數據源進(jìn)行抽取和集成，將結果按照一定的標準統一存儲，利用合適的數據分析技術(shù)對存儲的數據進(jìn)行分析從中提取有益的知識，并利用恰當的方式將結果展現給終端用戶(hù)。具體來(lái)說(shuō)可以分為數據抽取與集成、數據分析和數據展示。

　　數據抽取與集成

　　大數據的數據來(lái)源非常廣泛，既包括傳統的關(guān)系型數據庫，也包括半結構化數據，以及以視頻、音頻、文本和其他形式存在的非結構化數據。數據抽取和集成要解決的主要問(wèn)題就是收集各種碎片化的數據，對數據進(jìn)行清洗，保證數據質(zhì)量，同時(shí)根據時(shí)問(wèn)演進(jìn)小斷更新數據模式，確定數據實(shí)體及其之問(wèn)的關(guān)系，最終將數據按照統一的格式進(jìn)行存儲，以便提供給 上層用來(lái)進(jìn)行數據分析。

　　目前高校已經(jīng)基本建立了完備的管理信息系統、學(xué)習管理系統等，在統一數據中心中積累了大量的結構化數據;同時(shí)各類(lèi)系統中還散布著(zhù)大量的半結構化和非結構化數據。半結構化和非結構化的數據經(jīng)過(guò)一定處理后，可以轉化為更容易分析使用的結構化數據。

　　數據分析

　　經(jīng)過(guò)抽取和集成得到的數據，需要經(jīng)過(guò)分析挖掘其潛在的價(jià)值。傳統的數據挖掘、機器學(xué)習、統計分析等方法仍然可以用來(lái)對數據進(jìn)行分析，只是需要根據大數據的特征進(jìn)行調整。首先，為了實(shí)現對海量數據的分析，需要依據模型，將數據拆分處理，然后再將結果匯總，一個(gè)完整的分析可能會(huì )經(jīng)過(guò)多層類(lèi)似的處理過(guò)程;其次，大數據的應用通常具有實(shí)時(shí)性的特點(diǎn)，數據的價(jià)值會(huì )隨著(zhù)時(shí)問(wèn)的流逝而遞減，因此分析方法需要平衡處理的效率和準確率;最后，大數據一般構建在云計算平臺之上，分析方法需要考慮與云計算平臺的集成或做為一種云服務(wù)。

　　數據展示

　　數據分析得到的分析結果，需要以直觀(guān)可理解的方式呈獻給最終用戶(hù)，在大數據時(shí)代，數據分析產(chǎn)生的結果有可能也是非常大量的，且結果之問(wèn)的關(guān)聯(lián)關(guān)系復雜、數據維度更多，數據可視化技術(shù)通過(guò)更加適合人類(lèi)思維的圖形化的方式展示數據分析結果，已經(jīng)被證明是展示數據分析結果非常有效的方法。常見(jiàn)的可視化方法有:多維疊加式數據可視化、數據在空問(wèn)、時(shí)問(wèn)坐標中的變化和對比等，當然要將枯燥的信息轉換為美麗的、令人印象深刻的圖形，需要較高的技術(shù)素養和藝術(shù)素養。

　　大數據在高校中的典型應用

　　很多高校正在使用大數據分析技術(shù)解決遇到的實(shí)際問(wèn)題，如美國德克薩斯大學(xué)利用大數據技術(shù)分析學(xué)校用戶(hù)使用行為產(chǎn)生的數據，確定用戶(hù)行為異常，審計基礎環(huán)境，制定安全防護措施。其他的一些應用場(chǎng)景包括分析學(xué)生參與網(wǎng)絡(luò )課堂產(chǎn)生的數據，進(jìn)而確定如何改進(jìn)課程講述方式，達到因材施教的教育目標。

　　高�？梢栽诰蜆I(yè)情況分析、學(xué)習行為分析、學(xué)科規劃、心理咨詢(xún)、校友聯(lián)絡(luò )等方面借助大數據分析技術(shù)，挖掘數據中潛在的價(jià)值。

　　就業(yè)情況分析

　　當前市場(chǎng)經(jīng)濟高速發(fā)展、高校小斷擴招、就業(yè)制度改革小斷深化和畢業(yè)生數量逐年增加、社會(huì )整體就業(yè)形勢日益嚴峻，大學(xué)生就業(yè)問(wèn)題己經(jīng)越來(lái)越成為目前大家共同關(guān)心的話(huà)題，研究大學(xué)生就業(yè)問(wèn)題具有緊迫性和重要性。本文提出在大數據分析框架下的就業(yè)問(wèn)題分析思路。

　　1.數據來(lái)源

　　傳統的就業(yè)分析一般從就業(yè)單位、就業(yè)地區、所在院系專(zhuān)業(yè)、性別、簽約類(lèi)別、就業(yè)年份等維度來(lái)分析，得到的只是一般意義上的統計結果，對于指導單個(gè)學(xué)生的就業(yè)以及預測未來(lái)的就業(yè)情況發(fā)揮的作用比較有限。應用大數據分析技術(shù)，就可以將學(xué)生就業(yè)模型涉及到的學(xué)習情況、社團信息、生活信息、校外實(shí)習、參加的競賽及獲獎情況、所投公司當年的招聘計劃、歷屆學(xué)生在所投公司的表現等眾多的信息進(jìn)行收集。以上海財經(jīng)大學(xué)為例，可以從各類(lèi)系統中抽取學(xué)生的各類(lèi)信息，構成就業(yè)分析模型所需的各類(lèi)數據。

　　2.數據抽取與存儲

　　針對數據來(lái)源的小同，我們采取小同的數據抽取方式，對于結構良好的各信息系統的數據，我們采用ETI工具如Kettle將數據抽取到數據庫中;對于Web網(wǎng)頁(yè)這類(lèi)非結構化數據，通過(guò)進(jìn)行抓取，對數據進(jìn)行索引后存儲到數據庫中。數據庫是一個(gè)開(kāi)源的高可靠性、高性能、可伸縮、并非建立在關(guān)系模型基礎上的分布式數據庫，用以存儲大規模結構化數據。

　　3.數據分析

　　將就業(yè)分析模型所需的數據存儲在數據庫后，可以利用數據進(jìn)行查詢(xún)和分析。提供了一種簡(jiǎn)單的類(lèi)SQI查詢(xún)語(yǔ)言，適合數據倉庫的統計分析。通過(guò)我們可以實(shí)現傳統數據倉庫所實(shí)現的對就業(yè)數據的匯總統計分析，而且可以容易的擴展其存儲能力和計算能力。

　　除了數據統計分析之外，我們還可以利用About這個(gè)機器學(xué)習工具對數據進(jìn)行監督學(xué)習和無(wú)監督學(xué)習。監督學(xué)習使用先驗知識對數據進(jìn)行分類(lèi);無(wú)監督學(xué)習則由計算機自己學(xué)習處理數據，并在做出判斷后給予一定的激勵或懲罰。在進(jìn)行就業(yè)分析時(shí)，我們可以使用About已經(jīng)實(shí)現的具體方法。首先是協(xié)作篩選，通過(guò)分析已就業(yè)學(xué)生的成績(jì)、參加的社團活動(dòng)、關(guān)注的行業(yè)、性格特點(diǎn)、就業(yè)單位、就業(yè)崗位等，計算學(xué)生之問(wèn)的相似度，為即將畢業(yè)的學(xué)生推薦適合的就業(yè)單位和崗位，提供個(gè)性化的服務(wù);其次是聚類(lèi)，這是一種無(wú)監督的機器學(xué)習方法，我們可以通過(guò)小同的維度將未能及時(shí)就業(yè)的學(xué)生進(jìn)行分析，從中找出其共同的特點(diǎn)，再通過(guò)比較在校學(xué)生的相關(guān)屬性，及時(shí)對學(xué)生給出預警，以便其在后續的學(xué)習和生活中加以改進(jìn)。

　　4.數據展示

　　在數據展示層，我們可以使用軟件將分析的結果進(jìn)行可視化的展示，將數據與美觀(guān)的圖表完美地結合在一起，它包含非常多的預定義的圖表格式，同時(shí)還可以將時(shí)問(wèn)、地圖等多種維度在單一的圖表中進(jìn)行展示。

　　學(xué)習行為分析

　　為了支持學(xué)生的自主學(xué)習，高校一般都有自己的學(xué)習管理系統等。這些學(xué)習管理系統為學(xué)生、教師提供了課程學(xué)習和交流的空問(wèn)。美國教育部教育技術(shù)辦公室認為教育數據分為鍵擊層、回答層、學(xué)期層、學(xué)生層、教室層、教師層和學(xué)校層，數據就寓居在這些小同的層之中。一般高校每年的開(kāi)課數在數千門(mén)，學(xué)生數在數萬(wàn)人，產(chǎn)生的數據量非常大。應用大數據分析技術(shù)使得監控學(xué)生的每一個(gè)學(xué)習行為變?yōu)榱丝赡�，學(xué)生在回答一個(gè)問(wèn)題時(shí)用了多長(cháng)時(shí)問(wèn)，哪些問(wèn)題被跳過(guò)了，為了回答問(wèn)題而作的研究工作等都可以獲得，用這些學(xué)生學(xué)習的'行為檔案創(chuàng )造適應性的學(xué)習系統能夠提高學(xué)生的學(xué)習效果。

　　學(xué)科規劃

　　促進(jìn)學(xué)科交叉融合發(fā)展，構筑有生命力的學(xué)科生態(tài)，打造突顯核心競爭力的高水平學(xué)科是學(xué)校學(xué)科規劃的重要任務(wù)。借助大數據分析技術(shù)，充分收集各學(xué)科的教學(xué)狀態(tài)數據、科研項目數據、前沿發(fā)展動(dòng)態(tài)等信息，從而分析學(xué)科建設存在的小足，確定學(xué)科未來(lái)發(fā)展的方向，發(fā)掘出潛在的具有國際視野的學(xué)科帶頭人。

　　自理咨詢(xún)

　　論壇、微博等平臺上每天都會(huì )產(chǎn)生由評論、帖子、留言等數據，這些數據集反映了師生的思想情況、情感走向和行為動(dòng)態(tài)，對這些數據進(jìn)行科學(xué)的存儲、管理并使用大數據技術(shù)進(jìn)行有效的分析利用，建立師生思想情感模型，對掌握師生心理健康程度，有針對性地加強對師生的心理輔導有著(zhù)重要的意義。

　　校友聯(lián)絡(luò )

　　校友資源猶如一座座寶藏，對高校的發(fā)展建設有著(zhù)小可替代的重要作用，是高校工作的重要組成部分。有效地把校友聯(lián)絡(luò )起來(lái)、團結起來(lái)，對學(xué)校的建設和發(fā)展具有重要意義。利用傳統的管理方法，僅校友信息收集就要耗費大量的時(shí)問(wèn)和精力。利用大數據技術(shù)，收集各類(lèi)社交網(wǎng)站上的非結構化數據，通過(guò)分類(lèi)、聚類(lèi)等數據挖掘方法，確定校友身份并收集其聯(lián)系方式、參加的活動(dòng)信息等，可以大大提高校友數據收集的效率，為以后利用校友資源提供良好的基礎。

　　應用難點(diǎn)與對策

　　大數據在高校應用的美好前景令人神往，但目前大數據的應用還存在很多應用難點(diǎn)，主要有數據集成困難、數據分析方法有待改進(jìn)和數據隱私問(wèn)題。

　　數據集成

　　在很多高校中，因為管理信息系統設計時(shí)未考慮到對一些過(guò)程數據的收集，導致在分析時(shí)缺乏必要的數據來(lái)源，需要對應用系統進(jìn)行擴展;同時(shí)對于定義良好的結構化數據很多高校也尚未很好的集成。在大數據時(shí)代，異構的數據類(lèi)型、廣泛存在的數據來(lái)源、參差小齊的數據質(zhì)量給數據集成帶來(lái)了新的挑戰。高校應該探索融合結構化、半結構化、非結構化數據的統一模型，同時(shí)提高數據采集的質(zhì)量，強化數據文化。

　　數據分析方法

　　半結構化和非結構化數據的迅猛增長(cháng)，給傳統的聚類(lèi)、關(guān)聯(lián)分析等數據挖掘技術(shù)帶來(lái)了巨大的沖擊和挑戰。一方面，很多應用場(chǎng)景要求數據的實(shí)時(shí)分析;另一方面缺乏對半結構化和非結構化數據的先驗知識，難以構建其問(wèn)的關(guān)聯(lián)關(guān)系。高校需要緊密跟蹤業(yè)界對大數據分析方法的研究動(dòng)態(tài)，同時(shí)通過(guò)高校問(wèn)的協(xié)作溝通探索新型的數據分析方法。

　　數據隱私

　　大數據分析的數據基礎必然建立在獲取更多個(gè)人信息之上，而且通過(guò)分析還可以使數據之問(wèn)產(chǎn)生關(guān)聯(lián)關(guān)系，進(jìn)而揭示更多的個(gè)人隱私。然而為了保護隱私就將所有數據加以隱藏，那么數據的價(jià)值就無(wú)法體現。這種矛盾在相當長(cháng)的時(shí)問(wèn)內必將一直存在，需要通過(guò)技術(shù)和制度的完善逐步解決。

　　移動(dòng)互聯(lián)等技術(shù)的小斷興起給高校的發(fā)展帶來(lái)了極大的挑戰，為了應對這種挑戰，高校應當充分發(fā)揮大數據在其中的支撐作用。在人才培養、科學(xué)研究和管理等方面廣泛收集過(guò)程數據，結合可視化技術(shù)充分分析和挖掘蘊含在數據之中的豐富價(jià)值。同時(shí)我們需要在高校內倡導和強化數據文化，建立持久運作的收集、分析數據并將分析結果轉換為教育決策和實(shí)踐的體系，真正發(fā)揮大數據在高校發(fā)展中的價(jià)值。