基于知識網(wǎng)格的分布式數據挖掘論文
摘要：本文在討論知識網(wǎng)格體系結構的基礎上，還討論了知識網(wǎng)格是如何用于支持分布式數據挖掘。
關(guān)鍵詞：分布式數據挖掘；網(wǎng)格計算；網(wǎng)格服務(wù)；Web服務(wù)資源框架
一、前言
隨著(zhù)科學(xué)、工業(yè)、商業(yè)等領(lǐng)域的發(fā)展，出現了大量的TB級甚至PB級的大規模數據集，在這些數據集中包含了大量的對生活、生產(chǎn)、科學(xué)研究等具有決策性作用的有用信息，那么如何從這些海量數據中提取信息是人們面臨的一個(gè)重大的問(wèn)題。顯然，原先的集中式數據挖掘模式已無(wú)法滿(mǎn)足人們的需求，這就需要探索出面向分布式數據挖掘的體系結構和工具。
二、知識網(wǎng)格
知識網(wǎng)格代表了數據網(wǎng)格的發(fā)展，為網(wǎng)格中分布式數據挖掘和抽取提供了高級工具和技術(shù)。知識網(wǎng)格是設計和實(shí)現分布式高性能知識發(fā)現應用環(huán)境的體系架構，用于執行網(wǎng)格中的數據挖掘，進(jìn)行科學(xué)發(fā)現，發(fā)現有用的商業(yè)信息。
三、知識網(wǎng)格體系結構
知識網(wǎng)格體系結構是在Globus toolkits網(wǎng)格工具集和服務(wù)的基礎上定義的。在Globus中，知識網(wǎng)格集成局部服務(wù)以提供全局服務(wù)。知識網(wǎng)格體系結構保證了數據挖掘工具和底層的網(wǎng)格機制和數據網(wǎng)格服務(wù)兼容。
知識網(wǎng)格服務(wù)由兩層構成：核心知識網(wǎng)格層和高級知識網(wǎng)格層。
1.核心知識網(wǎng)格層
1.1知識目錄服務(wù)(KDS)。該服務(wù)擴展了基本的Globus元數據目錄服務(wù)(MDS)，負責維護知識網(wǎng)格中數據和工具的描述。
要維護從一個(gè)特定數據倉庫中挖掘出來(lái)的數據是不切實(shí)際的，但是維護一個(gè)已發(fā)現知識的數據庫是非常有用的。這些信息被存放在知識倉庫(KBR)中，但是描述它們的元數據仍由KDS管理。KDS不僅可用于搜索和訪(fǎng)問(wèn)原始數據，也可以發(fā)現原先已發(fā)現的知識，以便在數據改變時(shí)比較給定挖掘計算的輸出，或者以遞增的方式應用數據挖掘工具。
1.2資源分配和執行管理服務(wù)(RAEMS)。該服務(wù)用于在執行方案和可用資源間查找最佳映射，以滿(mǎn)足應用需求(如計算能力、存儲能力、主存、數據庫、網(wǎng)絡(luò )帶寬和延遲)和網(wǎng)格約束。在執行方案激活之前，該層管理和協(xié)調應用的執行。該層并不是使用KDS和Globus MDS服務(wù)，而是直接基于Globus GRAM服務(wù)的。
2.高級知識網(wǎng)格層
2.1數據訪(fǎng)問(wèn)服務(wù)(DAS)。數據訪(fǎng)問(wèn)服務(wù)負責搜索、選擇、抽取、轉換和交付被挖掘的數據。搜索和選擇服務(wù)是基于核心知識目錄服務(wù)的。在用戶(hù)需求和約束的基礎上，數據訪(fǎng)問(wèn)服務(wù)自動(dòng)進(jìn)行查詢(xún)和查找由數據挖掘工具分析的數據源。
2.2工具和算法訪(fǎng)問(wèn)服務(wù)(TAAS)。該服務(wù)負責數據挖掘工具和算法的搜索、選擇和下載。描述其可用性、位置和配置的元數據存放在KMR中，并由KDS管理，而算法和工具則存放在每個(gè)知識網(wǎng)格結點(diǎn)的本地存儲系統中。需要向其他用戶(hù)導出數據挖掘工具的結點(diǎn)，首先必須使用KDS服務(wù)來(lái)發(fā)布該工具。還有其他的相關(guān)元數據，如參數、數據輸入輸出格式、實(shí)現的數據挖掘算法、資源請求和約束等。
3.3執行方案管理服務(wù)(EPMS)。執行方案是描述數據源、抽取工具、數據挖掘工具、可視化工具和KBR中的知識結果之間的數據流和交互的圖形化表示。最簡(jiǎn)單的情況是，用戶(hù)可使用可視化構造工具直接描述一個(gè)執行方案。然而，由于DAS和TAAS產(chǎn)生結果的`多樣性、數據和工具的位置、中間結果表示方法等的差異能產(chǎn)生多種不同的執行方案。因此，EPMS是由用戶(hù)自行選擇數據和程序的半自動(dòng)化的工具，產(chǎn)生一系列滿(mǎn)足用戶(hù)、數據和算法需求及約束的多種可執行方案。
2.4知識表示服務(wù)(RPS)。知識可視化是數據挖掘過(guò)程中的重要步驟，它可以幫助用戶(hù)解釋發(fā)現的模式。該服務(wù)指出了如何產(chǎn)生、表示和可視化抽取的知識模型(關(guān)聯(lián)規則、聚類(lèi)模型、分類(lèi)等)。結果元數據存放在由KDS管理的KMR中。KDS不僅用于搜索和訪(fǎng)問(wèn)原始數據，還可查找已經(jīng)發(fā)現的知識。
四、執行管理
1.概念模型表示在知識網(wǎng)格內，UML活動(dòng)圖標形式化方法用于表示應用的概念模型，同時(shí)BPEL用于表示執行方案�；顒�(dòng)圖標表示構成應用邏輯的服務(wù)調用的高層次流通，而B(niǎo)PEL表示各種各樣的服務(wù)實(shí)質(zhì)上是如何調節和調用的。
2.執行計劃表示
BPEL通常即可以表示抽象執行計劃，也可以表示實(shí)例執行計劃。在這個(gè)兩個(gè)計劃中，服務(wù)通過(guò)BPEL提供的partnerLinkType元件進(jìn)行訪(fǎng)問(wèn)。這種元件能夠將BPEL工作流與它包括的每項服務(wù)的ESDL描述聯(lián)系起來(lái)。這兩個(gè)執行計劃的主要區別是：在抽象執行計劃的BPEL文檔中，服務(wù)的WSDL并不包括服務(wù)地點(diǎn)，而它們都包含在實(shí)例執行計劃。
五、Weka4ws
Weka4ws是一個(gè)框架，它擴展了廣泛應用的開(kāi)發(fā)式資源Weka工具包，用于支持在WSRF-enabled網(wǎng)格上的分布式數據挖掘。為運行遠程的數據挖掘算法和管理分布式計算，Weka4WS采納了WSRF技術(shù)。Weka4ws用戶(hù)界面支持當地和遠程的數據挖掘任務(wù)的執行。在每一個(gè)計算節點(diǎn)上，一個(gè)與WSRF兼容的WS被用來(lái)曝光由Weka程序庫提供的所有數據挖掘算法。
網(wǎng)格架構發(fā)展迅速，所支持的程序的種類(lèi)日益多樣化，可使用的工具也日趨完善和復雜。網(wǎng)格服務(wù)的發(fā)展方向已從原先的基本的面向計算的服務(wù)轉到高級信息管理和知識發(fā)現服務(wù)上來(lái)。知識網(wǎng)格系統為分布式數據挖掘和基于網(wǎng)格服務(wù)的知識發(fā)現定義了一個(gè)集成的體系結構。該體系結構推動(dòng)了地理位置分布的大規模數據集的數據挖掘。
參考文獻：
胡蓉，肖基毅.基于知識網(wǎng)格的分布式數據挖掘計算機技術(shù)與發(fā)展.VOL.17 No.10Oct.2007
【基于知識網(wǎng)格的分布式數據挖掘論文】相關(guān)文章：
挖掘農村獨有的語(yǔ)文教學(xué)資源(人教版 教學(xué)論文)12-05
付出老師的愛(ài)，挖掘學(xué)生的美(班主任工作論文)12-05
如何挖掘《囚綠記》的主題(人教版高一必修教學(xué)論文)12-06
挖掘課本資源，提升課堂效率（高中語(yǔ)文教學(xué)論文）12-06
議論文文體知識演講的基本知識12-05
挖掘學(xué)生的學(xué)習潛能12-06
中考議論文考點(diǎn)知識07-29
挖掘閱讀教學(xué)的創(chuàng )新點(diǎn)12-05