一、背景 　　Spider位于搜索引擎數(shù)據(jù)流的最上游，負(fù)責(zé)將互聯(lián)網(wǎng)上的資源采集到本地，提供給后續(xù)檢索使用，是搜索引擎的最主要數(shù)據(jù)來源之一。spider系統(tǒng)的目標(biāo)就是發(fā)現(xiàn)并...