有些基于SEO的東西總是容易被忽略，比如Robots.txt文件。在seo優化的文章中多次提到了關于Robots.txt文件的重要性。網站優化的診斷方法之一是檢查文檔是否制作，是否標準化。如上文所述，如果搜索引擎蜘蛛被禁止進入網站的Robots.txt協議文件，無論你如何優化它，它都不會被收錄在內。

Robots.txt協議文件寫入

如果您將Robots.txt協議文件添加到您的網站并設置禁止搜索引擎蜘蛛的說明，您的網站內容將不會被爬行，但可能會被收錄（索引）。

有些人可能會有疑問，搜索引擎蜘蛛爬行網址頁面，頁面需要呈現蜘蛛的內容反饋，才有可能被收錄。所以，如果內容被禁止，會被收錄在內嗎？那是什么意思？企億推在這里沒有解釋這個問題。

為什么Robots.txt協議文件禁止之后會被搜索引擎蜘蛛收錄？

這里有一個認知錯誤，也可能是慣性邏輯思維的錯誤思維。每個人都認為蜘蛛不能捕獲內容，也不能收錄其中。事實上，爬行、抓取和索引是不同的概念。很多人在學習SEO時，經常混淆一些SEO的概念，導致后續的SEO優化過程中性能不佳。

或者首先，Robots.txt協議文件在做什么？因為它是一個協議，它必須是一個雙方都同意和接受的規則。這A和B自然是網站和搜索引擎（或搜索引擎蜘蛛）之間的協議。Robots.txt協議文件將被放置在根目錄中，蜘蛛會在次進入網站時訪問該文件，然后查看協議中是否有任何頁面無法爬行，如果被禁止，則不會再次爬行。

Robots.txt協議文件的意義

如果一個頁面想要被搜索引擎索引（包括），它應該被爬行器爬行和爬行。由于未對其進行爬網，因此將理所當然地不包括此頁。這樣的想法是錯誤的，可以索引而不必抓取。例如，淘寶是一個典型的案例，該網站添加了一個禁止協議，終被收錄。原因是百度從其他渠道平臺推薦的外部鏈接中了解到了這個網站。雖然禁止爬行，但可以通過標題和推薦鏈接的數據判斷與此頁面相對應的內容信息。