Apache下網(wǎng)站日志里面顯示百度蜘蛛（Baiduspider）等的方法

　　網(wǎng)站的優(yōu)化工作很重要的一個(gè)環(huán)節(jié)就是要讓搜索引擎蜘蛛到網(wǎng)站上來抓取內(nèi)容，如果搜索引擎蜘蛛都不來網(wǎng)站，那網(wǎng)站的內(nèi)容再多在豐富也是沒有用的。
　　整個(gè)互聯(lián)網(wǎng)形如一張網(wǎng)，搜索引擎的抓取程序就是通過這些一個(gè)一個(gè)的連接來抓取頁面內(nèi)容的，所以搜索引擎被形象的叫做蜘蛛或網(wǎng)絡(luò)爬蟲。網(wǎng)絡(luò)爬蟲是搜索引擎的一個(gè)自動(dòng)的抓取頁面的程序。搜索引擎蜘蛛通過跟蹤連接訪問頁面。獲得頁面HTML代碼存入數(shù)據(jù)庫。爬行和抓取是搜索引擎工作的第一步，也就是數(shù)據(jù)收集的任務(wù)。然后就是預(yù)處理以及根據(jù)算法排名。
　　對(duì)于站長來說，網(wǎng)站的第一步就是解決收錄問題，我們每天都在更新，可有時(shí)就是不收錄。我們要想得到收錄和蜘蛛的青睞，你就要懂得蜘蛛的爬行原理和規(guī)律。要學(xué)習(xí)和研究蜘蛛爬行規(guī)律，分析網(wǎng)站的訪問日志是重要的一項(xiàng)工作。下面我們來介紹如何查看網(wǎng)站的訪問日志。

針對(duì)WDCP面板 設(shè)置Apache日志記錄蜘蛛爬行
1、首頁，你要在 “站點(diǎn)編輯” 里面把 "開啟訪問日志 " 這個(gè)選項(xiàng)打勾
2、配置vhost 里面對(duì)應(yīng)站點(diǎn)的 conf 文件（ /www/wdlinux/apache/conf/vhost）
把 CustomLog "/www/web_logs/你的域名_access_log" common 這一行的? common 修改成 combined
也就是修改成 CustomLog "/www/web_logs/你的域名_access_log" combined
修改完后保存一下。
3、請(qǐng)確認(rèn)CustomLog沒有被#號(hào)注釋掉，把 /www/wdlinux/apache/conf/httpd.conf? 這個(gè)文件也改一下
把 #CustomLog "logs/access_log" combined? 這一句前面的 # 去掉，然后再重啟web服務(wù)

4、重新啟動(dòng)web服務(wù)，測試一下效果
好了，以上操作應(yīng)該是可以實(shí)現(xiàn)效果了，希望大家都可以操作成功

特別提醒，針對(duì)WDCP面板，如果在站點(diǎn)設(shè)置里面修改了其他設(shè)置，保存之后站點(diǎn)對(duì)應(yīng)的conf配置文件會(huì)自動(dòng)覆蓋掉?；蛘唿c(diǎn)擊了“更新所有站 點(diǎn)配置”，對(duì)應(yīng)的conf配置文件也會(huì)覆蓋掉你手動(dòng)添加的代碼。到時(shí)候默認(rèn)的設(shè)置還會(huì)是：CustomLog "/www/web_logs/你的域名_access_log" common，然后又得去手動(dòng)改一下。我找到一個(gè)完美解決的辦法，其他地方都不要?jiǎng)樱膊挥萌バ薷恼军c(diǎn)的conf配置文件。
直接修改apache默認(rèn)的httpd.conf配置文件。打開/www/wdlinux/apache/conf/httpd.conf。找到：
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" combined
LogFormat "%h %l %u %t \"%r\" %>s %b" common

把common和combined交換一下就行了，最終的代碼：
LogFormat "%h %l %u %t \"%r\" %>s %b" combined
LogFormat "%h %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent}i\"" common

上傳后重啟一下web服務(wù)就可以了。
原理就是在“站點(diǎn)編輯” 里面 "開啟訪問日志"后，默認(rèn)是添加的CustomLog "/www/web_logs/你的域名_access_log" common 這段代碼，生效的就是httpd.conf里面common的配置，改一下默認(rèn)的common的配置就OK了。

針對(duì)單個(gè)主機(jī)的配置方案 設(shè)置Apache日志記錄蜘蛛爬行
1、打開httpd.conf文件找到以下部分：LogFormat
“%h %l %u %t \”%r\” %>s %b \”%{Referer}i\” \”%{User-Agent}i\”" combined
LogFormat
“%h %l %u %t \”%r\” %>s %b” common
LogFormat
“%{Referer}i -> %U” referer
LogFormat
“%{User-agent}i” agent
具體有關(guān)LogFormat的用法請(qǐng)參照：
2、接著我們繼續(xù)向下移動(dòng)，找到虛擬主機(jī)配置段，也就是VirtualHost段，這個(gè)是由你自己來配置的。本站的虛擬主機(jī)的日志文件是這樣設(shè)置的：如果你想記錄百度蜘蛛的訪問全稱，就按色部分設(shè)置：
CustomLog
/var/html/faq/logs/linux520-access.log combined
如果不想記錄百度蜘蛛的頭部分，則如下設(shè)置：
CustomLog
/var/html/faq/logs/linux520-access.log common
按照以上設(shè)置一下，看看你的日志文件是否發(fā)生變化了。