新闻类别：经验技巧
发表时间：2015-01-29 08:31
浏览次数：次
很多人都在说原创，每天去采集，然后修正 后，重新发到自己的网站上，但是不知道你木有想过一个问题，我们发的文章有没有意义，为什么不被收录，蜘蛛怎么去觉得 我们发的文章有没有意义。
在这之前，我们得知道服务器日志在哪里寻找，服务器日志一般存在于FTP空间一个Log的文件夹下，并且是tor后缀结尾。将他下载后，解压后我们得到俩个文件，将有大小文件后缀名更改为域名.txt 然后打开。我们会得到一大串文字字符，不要担心 从何看起，我们一条条的分析 。但是我们首先得知道那些IP所代表的意思。下面我都列出来了。
Baiduspider=Baiduspider蜘蛛
Googlebot=Googlebot蜘蛛
Sogou=Sogou蜘蛛
Yahoo=Yahoo蜘蛛
360Spider=360Spider蜘蛛
123.125.68.=123.125.68沙盒
220.181.68.=220.181.68沙盒
220.181.7.=220.181.7准备 抓取
123.125.66.=123.125.66准备 抓取
121.14.89.=121.14.89新站考查
203.208.60.=203.208.60网站异常
210.72.225.=210.72.225巡逻
123.125.71.106=123.125.71.106低权重
123.125.71.95=123.125.71.95低权重
123.125.71.97=123.125.71.97低权重
123.125.71.117=123.125.71.117低权重
123.125.71.=123.125.71低权重汇总
220.181.108.95=220.181.108.95隔日快照
220.181.108.92=220.181.108.92权重抓取
220.181.108.91=220.181.108.91综合权重
220.181.108.75=220.181.108.75内页权重
220.181.108.86=220.181.108.86权重首页
220.181.108.89=220.181.108.89权重首页
220.181.108.94=220.181.108.94权重首页
220.181.108.97=220.181.108.97权重首页
220.181.108.80=220.181.108.80权重首页
220.181.108.77=220.181.108.77权重首页
220.181.108.83=220.181.108.83权重首页
220.181.108.=220.181.108权重蜘蛛汇总
我们就其中一条分析
123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/20101026 Firefox/3.6.12 QQDownload/1.7'
根据 上面的定义分析 ：
123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html这句话代表的意思是谷歌蜘蛛在2014年6月24号，15:12:04来我的网站抓取了xingyexinwen/129.html 这么一条URL，然后将其放到沙盒中(123.125.68.45 代表沙盒蜘蛛。)
HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) '至于这个，其中的200是返回码，代表是正常，当然返回码还有301、404、302、304等等一些，可以去查一下代表的意思。其他代表是它造访 电脑的属性，swindows操作系统 等等。
不知道看了这些，你晕了没有，当然我们一般习惯用 exec表格去分析 日志，将txt文件导入表格中，能够赞助 我们更直观的去分析 日志，知道蜘蛛在我们网站上抓取了哪些内容，然后将内容定义为什么。当然还可以利用 日志分析 软件来分析 。
关于更多，也可以搜索MOON虫博客www.croelhui.com，需要 我介绍什么，欢迎大家给我留言。
返回经验技巧