歸納邏輯程序設計的發(fā)展論文

　　機器學(xué)習試圖利用計算機來(lái)模擬人類(lèi)的學(xué)習行為，進(jìn)而利用計算機的技術(shù)優(yōu)勢給人類(lèi)的生活帶來(lái)便利。歸納邏輯程序設計(Inductive Logic Programming，簡(jiǎn)寫(xiě)為ILP)是機器學(xué)習和邏輯程序設計的交叉研究領(lǐng)域。它在子句邏輯的框架下，通過(guò)讓計算機考察具體的事例，然后學(xué)習出能夠刻畫(huà)這些事例特有屬性的一般性規則。具體來(lái)說(shuō)，計算機進(jìn)行操作時(shí)，根據背景知識在限定的歸納假設空間中不斷地搜索，最后得出一個(gè)理論(也即滿(mǎn)足某種語(yǔ)言偏向的子句集)，使得所有的正例都能被理論覆蓋，而負實(shí)例不被覆蓋。ILP作為機器學(xué)習的重要方法，已經(jīng)在生物信息學(xué)、自然語(yǔ)言處理、軟件工程等應用領(lǐng)域取得成功。

　　一、歸納邏輯程序設計的研究現狀

　　近年來(lái)，ILP得到很大的發(fā)展，其應用領(lǐng)域也不斷拓寬。一般說(shuō)來(lái)，ILP最重要的應用領(lǐng)域之一是生物信息學(xué)(Bioinformatics)。ILP之所以能適用于生物信息學(xué)的任務(wù)，是因為它會(huì )將背景知識和結構數據考慮在內，學(xué)習產(chǎn)生人類(lèi)能理解的知識。在學(xué)習蛋白質(zhì)結構的折疊的過(guò)程中，由于對其結構的學(xué)習很重要，所以需要找到能夠清晰描述其結構的語(yǔ)言。傳統的屬性-值方法無(wú)法描述對象問(wèn)的關(guān)系，因而也就無(wú)法合理地表示蛋白質(zhì)分子的三維結構，ILP的一階邏輯工具—子句邏輯是非常適合描述這種關(guān)系的語(yǔ)言，它在預測蛋白質(zhì)結構信息和蛋白質(zhì)次級結構生成中發(fā)揮了很大作用。同時(shí)，在預測化合物誘變問(wèn)題上，ILP也解決了傳統方法無(wú)法解決的結構關(guān)系問(wèn)題。

　　機器學(xué)習一個(gè)非常獨特的應用領(lǐng)域是自然語(yǔ)言處理，它的主要任務(wù)在于建立各種自然語(yǔ)言處理系統，如文字自動(dòng)識別系統、語(yǔ)音自動(dòng)識別系統、機器翻譯系統、自然語(yǔ)言信息檢索系統、自動(dòng)索引系統等。在自然語(yǔ)言處理中，ILP的方法可以從文本中抽取復雜的關(guān)系數據，這是ILP優(yōu)于其他機器學(xué)習技術(shù)的特點(diǎn)之一。ILP系統還常常為工程學(xué)、環(huán)境監控、軟件分析、模式學(xué)習和關(guān)系發(fā)現等領(lǐng)域的數據構造預測模型。雖然ILP與其他機器學(xué)習方法相比有一定的優(yōu)勢，然而隨著(zhù)科學(xué)技術(shù)發(fā)展和需求的增加，ILP在應用中也面臨許多挑戰:

　　首先，相比其他的機器學(xué)習系統來(lái)說(shuō)，ILP系統對時(shí)問(wèn)和空間有更高的要求，這使得ILP很難去處理大的數據集。因此，ILP應該努力尋求與隨機搜索和并行處理技術(shù)等方法結合以處理結構復雜的數據集。

　　其次，隱馬爾科夫模型、動(dòng)態(tài)貝葉斯網(wǎng)絡(luò )、雙連詞和三連詞等技術(shù)都能充分表達任務(wù)中的內在概率，而ILP系統很少有表達、處理概率的能力，這也是ILP的重大不足之一。

　　最后，當背景知識和數據集用一階邏輯清晰表達出來(lái)時(shí)，ILP可以運行良好。但是當數據集是無(wú)法通過(guò)一階邏輯清晰表達的圖像、視頻、音頻時(shí)，ILP就無(wú)能為力。就這一問(wèn)題來(lái)說(shuō)，ILP需要從約束邏輯程序設計中借鑒經(jīng)驗，學(xué)習處理特殊數據格式的技術(shù)。

　　二、歸納邏輯程序設計的發(fā)展展望

　　ILP應用過(guò)程中所顯現出來(lái)的不足之處，使得ILP必須與其他研究領(lǐng)域的技術(shù)相結合，來(lái)提高它解決問(wèn)題的能力。為了使ILP更好地完成歸納學(xué)習任務(wù)，戴維·培基提出了ILP未來(lái)發(fā)展的'五個(gè)研究方向。

　　1 .ILP和貝葉斯網(wǎng)絡(luò )

　　目前在人工智能中，貝葉斯網(wǎng)絡(luò )是處理不確定信息和進(jìn)行概率推理的最有力工具，它在很大程度上取代了傳統的基于規則的專(zhuān)家系統。人工智能的研究者已經(jīng)意識到概率的重要性，例如在醫療診斷中，幾乎沒(méi)有普遍真的醫學(xué)規律存在，也很少有完全正確的實(shí)驗可被利用。取而代之的是，概率被用來(lái)刻畫(huà)任務(wù)本身內在的不確定性。貝葉斯網(wǎng)絡(luò )被特別設計出來(lái)去表達一些可能的概率分布，并且嘗試對這些概率分布進(jìn)行推理。它已經(jīng)在醫療診斷、拼寫(xiě)糾錯、故障診斷等領(lǐng)域得到應用，也成為了國內外研究的新寵兒。

　　雖然貝葉斯網(wǎng)絡(luò )有如此良好的應用，然而它本質(zhì)上是命題的:變量集是確定且有限的，并且每個(gè)變量都有其確定的可能值域。這個(gè)事實(shí)限制了貝葉斯網(wǎng)絡(luò )的應用。此外，當一個(gè)貝葉斯網(wǎng)用一個(gè)圖表表示時(shí)，圖表能夠刻畫(huà)的唯一關(guān)系是概率、或然性之間的條件依賴(lài)關(guān)系，它不能表達關(guān)系結構。要想使貝葉斯網(wǎng)絡(luò )更好地為人類(lèi)服務(wù)，必須試圖去拓展貝葉斯網(wǎng)絡(luò )的表達力，并且試圖用一個(gè)拓展的表達來(lái)進(jìn)行歸納學(xué)習。實(shí)踐證明，這個(gè)拓展的表達結果是復雜的，還降低了一階邏輯的表達力。ILP研究者嘗試學(xué)習添加概率的子句，來(lái)拓展貝葉斯網(wǎng)的表達力，在一定程度上可以解決這一問(wèn)題。目前，學(xué)者已經(jīng)提出幾種可供選擇的子句表達方式，其中包括概率邏輯程序設計，隨機邏輯程序設計和概率約束邏輯程序設計。庫塞斯著(zhù)手研究隨機邏輯程序設計的算法和應用，而恩格和哈達維則研究貝葉斯網(wǎng)絡(luò )的一階表達。一般說(shuō)來(lái)，ILP和貝葉斯網(wǎng)絡(luò )學(xué)習是正交的。ILP擅長(cháng)處理關(guān)系域，而貝葉斯網(wǎng)絡(luò )對概率處理的很好。因此，設想一個(gè)能夠具有貝葉斯網(wǎng)絡(luò )學(xué)習和ILP二者優(yōu)點(diǎn)的學(xué)習算法的存在和應用是合理的，嘗試將貝葉斯網(wǎng)絡(luò )學(xué)習和ILP結合的領(lǐng)域也應該是一個(gè)有前途、有希望的研究領(lǐng)域。

　　2 .ILP和隨機搜索

　　隨著(zhù)計算機技術(shù)的發(fā)展，人類(lèi)收集數據、存儲數據的能力有了很大提高，對這些數據施以算法搜索處理，就能滿(mǎn)足人類(lèi)不同的需求。隨機搜索是指在目標位置基本服從均勻分布的條件下，搜索軌跡隨機且均勻散布在目標分布區域內的一種搜索方式。常用的隨機搜索算法主要包括模擬退火算法、進(jìn)化策略、遺傳算法。這些算法求解時(shí)搜索過(guò)程是非確定性的，算法對約束函數及目標函數有限制，因而可以解決大規模復雜問(wèn)題。

　　大部分ILP算法搜索由假設而定的一個(gè)子句格。它們尋找這樣一個(gè)子句—即能夠使子句覆蓋范圍的函數達到最大化的子句。根據它們如何搜索這個(gè)子句格，這些ILP算法被分為(基于最小一般泛化腳自底向上算法和(基于求精的自頂向下算法。算法又根據它們是否利用貪婪搜索、定向搜索、接受搜索來(lái)進(jìn)行進(jìn)一步劃分。在幾乎所有算法中，以上這些搜索方法都是確定性搜索。然而，對于其他ILP之外的具有挑戰性的邏輯或人工智能任務(wù)，隨機搜索常常勝過(guò)確定性搜索。1992年，考茨、塞爾曼、維斯克、米切爾以及其他學(xué)者對局部搜索算法諸如LSAT, WSAT的可滿(mǎn)足性問(wèn)題的研究，已經(jīng)證實(shí)了隨機搜索更具優(yōu)勢。塞巴格和羅維洛從事于隨機匹配和定理證明，并且在誘變性研究上超越PROGOL程序，同時(shí)并沒(méi)有犧牲預測準確性和理解力。由此可以看出，隨機搜索是ILP中一個(gè)有前途的研究方向。ILP可以嘗試與隨機搜索算法結合，利用隨機搜索可選擇的形式去檢測子句格，嘗試解決不確定搜索問(wèn)題。

　　3 .ILP和約束邏輯程序設計

　　機器學(xué)習中廣為人知的成功理論之一是約束邏輯程序設計。這個(gè)理論成功的原因在于它整合邏輯和特殊目的的推理者或約束解決者的能力。前面提到的在ILP中加入概率的方法也可以理解為特殊目的推理者在貝葉斯網(wǎng)絡(luò )片段形式中訴諸約束。關(guān)于約束問(wèn)題，斯里尼瓦森和卡馬喬使用線(xiàn)性回歸去構建一個(gè)約束，而克萊文和斯拉特利的工作是用樸素貝葉斯技術(shù)去構造一個(gè)約束。值得注意的是，除了在演繹過(guò)程中所需要的約束解釋器外，ILP還需要一個(gè)像類(lèi)似線(xiàn)性回歸一樣的“約束構造函數”。一般情況下，采用一個(gè)數據庫的標準邏輯解釋?zhuān)�這里每一個(gè)關(guān)系是一個(gè)謂詞，并且關(guān)系中每一元組是由那個(gè)謂詞建立而來(lái)的一個(gè)基原子公式�，F在假設數據庫中包含一些復雜數據的格式諸如影像，簡(jiǎn)單的邏輯相似性就不能夠刻畫(huà)一系列影像的重要特征，這時(shí)就需要基于特殊目的的影像處理技術(shù)。我們將ILP運用于處理電影時(shí)，首先需要構造特殊目的的約束解釋器，再用ILP技術(shù)對其進(jìn)行處理。關(guān)于如何將約束加入到ILP研究中，需要關(guān)注阿蘭·弗里希的工作。令人遺憾的是，他的工作沒(méi)有涉及如何確保歸納學(xué)習系統的效率，以及如何去設計約束解釋器的正確類(lèi)型。這些問(wèn)題正是留給我們去思考的，阿蘭·弗里希至少給我們提供了一種考慮問(wèn)題的思路。ILP確實(shí)需要從約束邏輯程序設計中借鑒經(jīng)驗，學(xué)習處理特殊數據格式的技術(shù)，提高其處理問(wèn)題和解決問(wèn)題的能力。

　　4 .ILP和人類(lèi)專(zhuān)家的交流

　　在從遠程通訊、分子生物學(xué)、制藥學(xué)等領(lǐng)域的數據庫中發(fā)現新知識的過(guò)程中，如果一個(gè)機器學(xué)習系統和人類(lèi)專(zhuān)家能夠以團隊的形式合作，充分利用計算機的速度優(yōu)勢及人類(lèi)專(zhuān)家的知識和技術(shù)優(yōu)勢，那么在很大程度上會(huì )提高機器學(xué)習的效率和工作水平，促進(jìn)新知識的發(fā)現。ILP系統的三個(gè)特性使得它在知識發(fā)現中能夠很自然地與人類(lèi)專(zhuān)家進(jìn)行合作:首先，ILP系統能夠利用可宣告的背景知識去構造假設，這就使得ILP和領(lǐng)域專(zhuān)家之間能夠展開(kāi)合作。其次，基于特征的學(xué)習系統要求使用者從描述創(chuàng )造實(shí)例的特征開(kāi)始，ILP系統允許結構實(shí)例根據組成它的對象以及這些對象之間的關(guān)系一起自然地被描述。一個(gè)分子的二維結構可以將它的原子作為對象，將原子之間的聯(lián)系作為關(guān)系，這樣直接表示出來(lái)。三維結構可以通過(guò)添加距離關(guān)系而被表示。最后，ILP系統和命題邏輯學(xué)習者一樣，都具有輸出用戶(hù)可以理解的規則的能力，一些ILP系統甚至可以用英語(yǔ)返回規則。

　　盡管ILP系統呈現了如此多的有用特性，它在知識發(fā)現中作為人類(lèi)的合作者，仍然還有許多缺點(diǎn)和不足。首先，大多數ILP系統在探試程序基礎上返回單一理論，因此丟掉了對一些領(lǐng)域專(zhuān)家來(lái)說(shuō)有意義的子句。其次，ILP系統不能用人類(lèi)合作者所使用的那種方式來(lái)回答人類(lèi)專(zhuān)家的問(wèn)題。它們用簡(jiǎn)單的成批處理模式操作，采用一個(gè)數據庫作為輸入，并且在此基礎上返回一個(gè)假設。再次，ILP系統不會(huì )像人類(lèi)合作者那樣對輸入的數據進(jìn)行質(zhì)疑。最后，人類(lèi)專(zhuān)家能夠為假設提供知識豐富的辯護形式，例如將一個(gè)新的假設與現有的信念聯(lián)系起來(lái)，ILP系統做不到這一點(diǎn)，它僅僅能提供正確的判斷。在知識發(fā)現和知識獲取的人機合作中，要克服ILP的不足，不僅需要邏輯和人工智能的技術(shù)，還需要對邏輯主體進(jìn)行研究，只有二者結合才能使機器與人類(lèi)專(zhuān)家進(jìn)行良好溝通。

　　5 .ILP和并行處理技術(shù)

　　面對今天復雜的科學(xué)計算、各式各樣的圖象處理以及大量的信號等問(wèn)題，提高計算機的運行速度和縮短程序的運行時(shí)問(wèn)至關(guān)重要。ILP系統對時(shí)問(wèn)和空間有很高的要求，這使得ILP很難去處理大的數據集。并行處理技術(shù)的出現，為ILP處理大數據集提供了解決思路。并行處理系統由多個(gè)處理單元組成，通過(guò)特定方法可以將一個(gè)任務(wù)分成若干個(gè)子任務(wù)，分別由各處理單元完成。目前并行處理技術(shù)最顯著(zhù)的是“貝奧武夫簇群技術(shù)”的普遍應用，以及個(gè)人計算機、工作站、智能終端并行處理技術(shù)的使用。大衛·斯基利康在大容量同步并行模型之下發(fā)展了一個(gè)PROGOL的并行實(shí)施技術(shù)。艾倫·韋德在貝奧武夫簇群技術(shù)基礎上，再次進(jìn)行自上而下的ILP研究。

　　并行處理技術(shù)的理想是在處理時(shí)問(wèn)上的一個(gè)縮減，這里處理時(shí)問(wèn)是處理程序所用數量的一個(gè)線(xiàn)性函數，斜率接近于1。由于程序之間的管理自檢和資源的競爭，這個(gè)理想很難達到。一個(gè)好的并行策略，要求程序之間盡可能地相對獨立，盡量使得程序之間擁有較少的交流或資源共享。在測試數據時(shí)，在不同的處理器之間派發(fā)假設空間。更詳細地說(shuō)，對一個(gè)完備的搜索，一個(gè)并行ILP方案能夠產(chǎn)生一個(gè)戶(hù)主—用戶(hù)模式，這里戶(hù)主將不同分段的假設空間指派給用戶(hù)，然后用戶(hù)用假設對數據進(jìn)行測試。用戶(hù)反饋給戶(hù)主的所有假設在數據上達到一個(gè)預先最小評估值。當用戶(hù)完成自己的任務(wù)時(shí)，戶(hù)主繼續指派時(shí)空的新程序段，直到整個(gè)空間被開(kāi)發(fā)。在用戶(hù)和戶(hù)主交流過(guò)程中，要考慮每次交流產(chǎn)生數據的成本，還要考慮戶(hù)主所花費的時(shí)問(wèn)和戶(hù)主—用戶(hù)交流的時(shí)問(wèn)。在相對較大的論域中，完備性搜索期望用戶(hù)和戶(hù)主之間有盡量少的假設交流。如果戶(hù)主面對如此快速增長(cháng)的假設空間片段，能夠以這樣一個(gè)方式將這些片段與用戶(hù)簡(jiǎn)潔地交流是可能的;那么整體開(kāi)銷(xiāo)將是低的，處理時(shí)問(wèn)也會(huì )縮減，這樣也就接近理想的并行處理模式。

　　三、結語(yǔ)

　　人類(lèi)有對宇宙本源、生命本質(zhì)、自我本體的好奇，對“機器如何模擬人類(lèi)思維進(jìn)行學(xué)習和思考”這一問(wèn)題的探討，給機器學(xué)習添加了自然科學(xué)色彩。本文總結了歸納邏輯程序設計的發(fā)展現狀，對目前ILP發(fā)展過(guò)程存在的問(wèn)題進(jìn)行了詳細地闡述。雖然ILP已經(jīng)在軟件工程、計算機網(wǎng)絡(luò )、生物信息學(xué)等眾多領(lǐng)域發(fā)揮作用，然而應用領(lǐng)域的迫切需求使得ILP仍需與貝葉斯網(wǎng)絡(luò )、隨機搜索、并行處理等技術(shù)結合，進(jìn)一步推動(dòng)科技的發(fā)展，進(jìn)而為人類(lèi)的生活帶來(lái)便利。

【歸納邏輯程序設計的發(fā)展論文】相關(guān)文章：

歸納邏輯程序設計的應用與發(fā)展論文05-30

傳承與發(fā)展論文03-04

發(fā)展與危機論文05-04

環(huán)保與發(fā)展論文03-17

鄉村旅游發(fā)展論文03-18

服務(wù)外包發(fā)展論文04-03

邊境文化發(fā)展的論文06-08

發(fā)展幼兒的想象的論文05-22

幼兒語(yǔ)言的發(fā)展論文05-22