網(wǎng)站日志是什么，引用百度百科的定義“網(wǎng)站日志是記錄web服務器接收處理請求以及運行時錯誤等各種原始信息的以·log結(jié)尾的文件，確切的講，應該是服務器日志。”通過這個定義可以了解到網(wǎng)站日志記錄了最全的網(wǎng)站運行信息，主要包括訪客信息(比如訪客ip、用什么瀏覽器、操作系統(tǒng)、訪問時間等等)、蜘蛛對網(wǎng)站的抓取情況(抓取了哪些目錄、都有哪些蜘蛛等等)、運行錯誤信息(主要是看一些http狀態(tài)碼)。
那這么多信息，我們需要重點關注的有哪幾個點呢?
一、蜘蛛抓取情況
1、都有哪些蜘蛛來訪問
看一下主流的蜘蛛是否有訪問網(wǎng)站，如果沒有的話，可能是被網(wǎng)站屏蔽了，可以檢查下網(wǎng)站的robots文件設置。
2、抓取了哪些目錄
統(tǒng)計蜘蛛對網(wǎng)站目錄的抓取情況，網(wǎng)站各層級目錄是否抓取正常，一些需要重點推廣的目錄是否有抓取，如果沒有抓取的話則需要對網(wǎng)站內(nèi)鏈進行調(diào)整或者增加外鏈，提升欄目權(quán)重，引導蜘蛛抓取。另外，蜘蛛可能會抓取一些無意義的目錄，比如我們不希望搜索引擎了解的信息，這時候就可以把這些目錄屏蔽掉。
3、抓取了哪些頁面
統(tǒng)計蜘蛛對網(wǎng)站頁面的抓取情況，通過一段時間的觀察你會發(fā)現(xiàn)蜘蛛經(jīng)常抓取的一些頁面，分析蜘蛛為什么喜歡這些頁面，這些頁面跟其它頁面相比有什么不同，有沒有其它頁面可以借鑒的地方。此外，還可以通過分析頁面抓取情況，了解到網(wǎng)站的一些問題，比如重復頁面問題、url規(guī)范化問題等等。
4、蜘蛛訪問次數(shù)、停留時間、抓取量
蜘蛛頻繁訪問網(wǎng)站，說明喜歡網(wǎng)站，經(jīng)常來看看網(wǎng)站內(nèi)容是否有更新，對網(wǎng)站來說是一件好事。如果十天半個月才來一次，那網(wǎng)站內(nèi)容可能得更新勤快點了，另外還要多增加一些外鏈，引導蜘蛛訪問網(wǎng)站。停留時間長短可以反映蜘蛛對網(wǎng)站的喜歡程度，需要注意的一點是，如果停留時間長，但是抓取量低的就有問題了，可能是蜘蛛對網(wǎng)站內(nèi)容抓取困難，或者網(wǎng)站內(nèi)容質(zhì)量偏低導致的。這三個指標要綜合起來看，才會得到比較有價值的信息。
二、http狀態(tài)碼
主要關注的有404、500、302之類的。404就不用說了，最好定期整理死鏈接，并提交到站長平臺。如果經(jīng)常出現(xiàn)500，可能是服務器的問題，比如內(nèi)容太多，服務器無法滿足需求，超負荷運轉(zhuǎn)了，就會出現(xiàn)超時、無法訪問的情況。302是暫時重定向，這個要具體看下是什么問題，搜索引擎比較喜歡301，如果可以的話就做成301的。
三、網(wǎng)站安全情況
通過日志分析，還可以及時了解到網(wǎng)站是否安全，像作者本人優(yōu)化的一個站點，是通過日志分析才發(fā)現(xiàn)被掛了黑鏈的。分析日志的時候如果發(fā)現(xiàn)一些不存在的目錄，或者一些奇怪的頁面，就要仔細去分析一下，很可能就是有問題的。
以上就是作者本人在網(wǎng)站日志分析方面的一些心得體會，希望能夠幫助到大家。網(wǎng)站日志分析是需要長期堅持的工作，一朝一夕可能發(fā)現(xiàn)不了問題，貴在堅持。
題外話：網(wǎng)站日志分析肯定少不了日志分析工具，該如何選擇日志分析工具呢，個人認為主要還是得用著順手的，一些主流的日志分析工具基本都可以滿足需求，工具不分好壞，各有千秋，我就比較喜歡金花跟光年一塊用，各取所長嘛。
