昨天在“搜索引擎是咋樣工作的”內容中也提到了蜘蛛的工作方式分為廣度和深度,但是沒有詳細的介紹,今天大連網絡公司小編就跟大家解析一下蜘蛛廣度和深度的工作方法。
搜索引擎蜘蛛工作都是深度開始,蜘蛛找到一個鏈接之后,就會沿著這個鏈接向下一個鏈接前進;從一個頁面開始這樣重復著工作,但不是重復爬同一個頁面。當蜘蛛爬到無路可走的時候,才返回爬另一條路。
蜘蛛的廣度工作比較有規(guī)律,用字母表示頁面,就可以很形象的表示為蜘蛛從頁面A爬到a1、a2、a3、a4,如果a4頁面之后就沒有其他鏈接了。然后從另一個鏈接爬到另外b1、b2、b3、b4頁面。
如果蜘蛛以廣度優(yōu)先,那么蜘蛛就能在一個頁面發(fā)現很多個鏈接,這種爬行是沒有規(guī)律的爬行。按照網站的層次來爬,先進層爬取完了之后,再爬取第二層頁面,以此類推。用字母表示的話就是從A頁面爬到A1、B1、C1、D1頁面,爬完之后再繼續(xù)到第二個層次,A1爬完爬A2,A2爬完爬A3。
大連網絡公司認為,不管是廣度還是深度,蜘蛛都會爬完整個網絡,當然也不可能每個頁面都能爬取到,所以我們才會有網站收錄不一樣的情況。如何喂飽蜘蛛,那就要讓蜘蛛在網站中舍不得出來,網站內鏈和外鏈都要做到盡善盡美。
掃一掃
關注新圖聞科技
全國咨詢熱線
186-0984-0880