做seo優化大家都知道搜索引擎的入口頁面是由蜘蛛捕捉進入的，所以有必要了解搜索引擎的變化。搜索引擎蜘蛛是工程師寫出來的機器，一定有一些規則。

一、搜索引擎蜘蛛抓取規則

1、高質網站專設蜘蛛抓取、及時抓取、及時收集、及時發布供網民搜索；

2、普通網站，分配一定的蜘蛛抓取資源，爬到一定數量不抓取；

根據上述兩種抓取原理，采用了兩種抓取方法：水平抓取和垂直抓取；

網頁抓取規則：遵循F-type抓取規則，從左到右，從上到下。

蜘蛛抓取規律與外鏈及時性的探索

一般來說，進入一個新網站需要一段時間。當搜索引擎進入網站時，一般都是從主頁中收錄，然后沿著主頁進入內頁。搜索引擎很“花心”，它不是一個一次性的站點會被完全抓取，而是在不同的時間段進行抓取，然后計算蜘蛛在站點活動的時間和時間長度。

即使新站點的頁面被抓取，也不會立即發布。它需要經過搜索引擎反復檢查，承認有必要進入網站，然后頁面才會發布。一般情況下，新站網站的快照和入口頁面會在一周后發布。

記住以下一句話：當搜索引擎蜘蛛抓取網站時，一定不要出現網站無法打開或存在死鏈的情況。如果發生這種情況，搜索引擎將繼續搶占網站，不確定何時會再次出現。有很多人有一個壞習慣，但也有一個很好的猜測，域名越老，越會被搜索引擎信任。

有很多人，網站剛完成主頁，馬上就上線了，主頁上的大部分連接都是死鏈，搜索引擎蜘蛛進入，當抓取網站的內頁時，它們進不去，大大降低了網站的形象，進而減少了抓取網站的次數。假設您下次訪問時，網站仍然是相同的。如果你來回幾次，搜索引擎蜘蛛會不友好，認為這是一個低質量的網站。畢竟，它將放棄搶占網站。

網站只有在成功開通一段時間后，才能進入穩定期。百度和谷歌將給新站一段時間檢查。檢查期過后，他們認為該網站是一個長期網站，持續3-6個月。在網站穩定期內，搜索引擎蜘蛛會經常出現，它們仍然和前期一樣，從首頁進入網站進行抓取。

百度和谷歌略有不同。如果百度發現網站主頁內容沒有變化，將立即停止抓取。谷歌并非如此。即使發現網站主頁沒有變化，也會一如既往地沿著主頁的鏈接抓取，這也是谷歌比百度擁有更多頁面的原因之一。

更新網站內容時，必須將其顯示在網站主頁中，否則百度蜘蛛不會進入更新頁面，因為主頁沒有更改，百度蜘蛛也不會抓取內頁，所以不知道有新的頁面攻擊。這也是一些公司網站經常犯的錯誤之一。主頁的內容是死的，不能更改，導致網站的輸入不變。安全期網站快照和輸入頁面一般在過去兩天發布。。搜索引擎是一樣的，它對網站的形象有好處，會經常來，經常更新網站的快照，經常進入網頁；假設網站的形象不好，所以我們需要先支持站，只有網站有點“打擦邊球”的嫌疑，被封鎖的可能性很大。

二、外鏈是否具有時效性

有些博客（可能在2016年因為流量過大而被刪除）幾年前就被刪除了，但百度仍有快照。今天，我看到了下一個主頁的快照，但是文章頁面仍然存在。看看快照日期，你可以看到2016年，甚至更長時間。

也就是說，雖然網頁已經被刪除了5年，但是百度的快照還沒有被刪除，那么你認為其中的鏈接蜘蛛會不會爬升呢？我想應該是的，我有一個域名鏈接在這個博客的博客網站上，當時，我剛跳轉到博客首頁。后來，當我開始作為一個博客領域a，我很快得到了一個很好的權重，文章很容易收集在幾秒鐘。我相信5年前的這個環節起了很大的作用。

如果鏈所在頁面的搜索引擎沒有快照，則鏈是否有效？這個答案可能會讓很多人感到驚訝，而且鏈所在的頁面在沒有快照的情況下仍然有效。原因可以在我關于蜘蛛如何抓取鏈接的文章中看到。蜘蛛抓取頁面后，會將內容與鏈接分離。鏈接，即URL，將被添加到URL索引庫中。蜘蛛抓取從這個URL索引庫開始。

三、那么外部鏈對搜索引擎有效嗎？

顯然這應該是有時效性的。然后我猜外部鏈失敗的原因，應該有兩個原因：外部鏈被刪除的頁面或鏈接被刪除。

1、針對頁面被刪除的情況，搜索引擎應該在一定時間后繼續抓取該頁面上的外鏈直到404，它會向搜索引擎URL索引庫發出刪除外鏈的命令。

2、在頁面發生變化的情況下，搜索引擎也應該抓取外鏈，直到包含外鏈的快照在搜索引擎中完全刪除，并向URL索引庫發出刪除外鏈的命令。因為帶有外部鏈接的頁面會根據情況保存N個時段的快照，所以有時會搜索不同的單詞，而web頁面的快照是不同的。