隨著(zhù)網(wǎng)絡(luò )技術(shù)和信息技術(shù)的飛速發(fā)展，網(wǎng)絡(luò )已經(jīng)成為人們獲取信息的一個(gè)重要途徑�，F有的搜索引擎面臨的最大一個(gè)問(wèn)題就是返回的結果集中包含大量重復的信息。如何更有效地幫助用戶(hù)獲取所需要的信息，能夠快速、準確地為用戶(hù)提供信息，是網(wǎng)絡(luò )信息服務(wù)面臨的新課題。優(yōu)化搜索結果可以采用多種手段，如通過(guò)提取網(wǎng)頁(yè)的特征進(jìn)行基于內容的信息檢索，利用用戶(hù)反饋的信息進(jìn)一步精確檢索結果，將結果集中的重復信息盡可能地消除等。

　　由于網(wǎng)絡(luò )信息分布的特點(diǎn)，網(wǎng)站上的信息存在相互轉載及鏡像站點(diǎn)等情況。出現相同網(wǎng)頁(yè)主要有以下幾種情形：網(wǎng)頁(yè)的URL完全相同；網(wǎng)頁(yè)的URL形式不同，但網(wǎng)站域名所對應的IP是相同的；URL雖然不同，但網(wǎng)頁(yè)內容完全相同；URL不同，為不同的網(wǎng)頁(yè)形式，但網(wǎng)頁(yè)上主要內容是相同的。本文主要討論對于網(wǎng)頁(yè)內容重復性的消除。