作為一個站長,如果你甚至不知道網(wǎng)站日志是什么,或者根本不喜歡它,我只能說你是一個不稱職的站長。一旦網(wǎng)站出了問題,你一定很無助!即使你掌握了SEO的基本知識,你也應該善于分析網(wǎng)站日志
許多SEO新手站長可能會認為不分析網(wǎng)站日志沒關(guān)系。我相信每個人都在自己的網(wǎng)站上安裝了網(wǎng)站統(tǒng)計代碼,比如GoogleAnalytics、quantumstatistics、baidustatistics、cnzz、51La等。這些工具可以計算網(wǎng)站的流量,但這些統(tǒng)計工具無法計算你主機上資源的原始訪問信息,比如誰下載了圖片,而且無法統(tǒng)計沒有添加統(tǒng)計代碼的地方,例如后臺操作頁面
絕大多數(shù)收費主機提供原始訪問日志。網(wǎng)站服務器將自動記錄每個訪問者的訪問信息,并將其保存在原始訪問日志文件中。如果您的主機不提供日志功能,建議您在到期后更換主機。日志記錄了網(wǎng)站上所有資源的訪問信息,包括所有網(wǎng)頁打開過程中加載的圖像、CSS、JS、flash、HTML、MP3等資源。同時,它記錄了誰訪問了這些資源,訪問了哪些資源,訪問結(jié)果是什么。可以說,原始訪問日志記錄了主機所有資源的使用情況
分析網(wǎng)站日志的作用是什么
1。我們可以更準確地定位搜索引擎爬行器爬行我們網(wǎng)站的次數(shù),并屏蔽偽爬行器(主要收集此類爬行器,這將增加我們服務器的開銷)
2。通過分析網(wǎng)站日志,我們可以準確定位搜索引擎蜘蛛抓取的頁面和時間長度。我們可以依次調(diào)整我們的網(wǎng)站
3。HTTP返回狀態(tài)代碼。搜索引擎蜘蛛和用戶每次訪問我們的網(wǎng)站時會有類似于301404200的狀態(tài)嗎?我們可以參考這些信息來簡單地診斷我們的網(wǎng)站存在的問題,并及時處理問題
如何分析網(wǎng)站日志中的內(nèi)容
注意經(jīng)常訪問的資源
如果您發(fā)現(xiàn)日志中經(jīng)常訪問資源(網(wǎng)頁、圖片、MP3等),您應該注意資源的使用位置!如果這些請求(referer)的來源不是您的網(wǎng)站或是空的,并且狀態(tài)代碼(httpcode)是200,這意味著您的資源可能會被盜。通過referer,你可以找到盜賊的網(wǎng)站,這可能是你網(wǎng)站流量激增的原因。你應該做好防盜鏈
2、注意你網(wǎng)站上不存在的資源請求
如果一些請求的信息不是本網(wǎng)站的資源,httpcode是403或404,但從名稱分析來看,可能是保存數(shù)據(jù)庫信息的文件。如果這些信息被其他人拿走,攻擊你的網(wǎng)站就會容易得多。啟動這些請求的目的無非是掃描你的網(wǎng)站,尋找漏洞。通過無目的地掃描和下載這些已知的漏洞文件,您很可能會在您的網(wǎng)站中發(fā)現(xiàn)漏洞!通過觀察,我們可以發(fā)現(xiàn)這些請求中使用的代理幾乎都是非傳統(tǒng)瀏覽器類型,如Mozilla/4.0、Mozilla/5.0或libwwwPerl/。我在上面提供的日志格式化工具集成了這些請求的警報功能。我們可以通過禁止這些代理的訪問來防止他們被掃描。具體方法如下所述
觀察搜索引擎蜘蛛的訪問
通過觀察日志中的信息,你可以看到你的網(wǎng)站被蜘蛛訪問的頻率,然后你可以看到你的網(wǎng)站是否受到搜索引擎的青睞。這些都是SEO關(guān)注的問題。日志格式化工具集成了搜索引擎蜘蛛的提示功能。常見搜索引擎蜘蛛使用的代理列表如下:
谷歌蜘蛛:Mozilla/5.0(兼容;Googlebot/2.1)+http://www.google.com/bot.html)
百度蜘蛛:百度蜘蛛+(+http://www.baidu.com/search/spider.htm)
雅虎!Spider:Mozilla/5.0(兼容;Yahoo!Slurp/3.0;http://help.yahoo.com/help/us/ysearch/slurp)
雅虎!中國蜘蛛:Mozilla/5.0(兼容;雅虎中國;http://misc.yahoo.com.cn/help.html)
微軟必應蜘蛛:MSNBot/2.0B(+http://search.msn.com/msnbot.htm)
谷歌Adsensespider:mediapartners谷歌
有道spider:Mozilla/5.0(兼容;有道機器人/1.0);http://www.youdao.com/help/webmaster/spider/)
Soso博客蜘蛛:sosoblogspider+(+http://help.soso.com/soso-blog-spider.htm)
搜狗網(wǎng)蜘蛛:搜狗網(wǎng)蜘蛛/4.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
Twiceler爬蟲:Mozilla/5.0(Twiceler-0.9)http://www.cuil.com/twiceler/robot.html)
谷歌圖像搜索蜘蛛:谷歌機器人圖像/1.0
俄羅斯yandex搜索引擎蜘蛛:yandex/1.01.001(兼容;win16;I)
Alexa蜘蛛:IA_archiver(+http://www.alexa.com/site/help/webmasters)
Feedsky蜘蛛:Mozilla50(兼容;Feedskycrawler/1.0)
韓國雪人蜘蛛:雪人/1.0(nhncorp;http://help.naver.com/robots/)
觀察訪客行為
通過查看格式化日志,可以查看和跟蹤某個IP在一定時間段內(nèi)的一系列訪問行為。單個IP的訪問記錄越多,網(wǎng)站的PV越高,用戶粘性越好;如果單個IP的訪問記錄很少,你應該考慮如何使你的網(wǎng)站內(nèi)容更具吸引力。通過分析訪問者的行為,你可以為你的網(wǎng)站建設提供有力的參考,哪些內(nèi)容好,哪些內(nèi)容壞,并確定網(wǎng)站的發(fā)展方向;通過分析訪問者的行為,看看他們做了什么,我們可以猜測訪問者的意圖,及時發(fā)現(xiàn)惡意用戶
總結(jié):另一點要介紹的是,當網(wǎng)站遇到搜索引擎的K下降時,網(wǎng)站日志可以向我們提供K下降的原因(我認為這是站群的朋友),通過網(wǎng)站日志的相關(guān)數(shù)據(jù),我們可以看到搜索引擎何時會恢復正常訪問。這樣,我們可以選擇繼續(xù)或放棄。雖然它非常無助,但它也是最后的手段和明智的選擇。