谈谈如何运用服务器系统日志来剖析大家网页页

2020-11-22 09:58


谈谈如何运用服务器系统日志来剖析大家网页页面为何不被收录


短视頻,自新闻媒体,达人种草1站服务

许多人都在说原創,每日去收集,随后改动后,再次发到自身的网站上,可是不知道道你木有想过1个难题,大家发的文章内容有木有实际意义,为何不被收录,蜘蛛如何去觉得大家发的文章内容有木有实际意义。

在这以前,大家获知道服务器系统日志在哪儿里找寻,服务器系统日志1般存在于FTP室内空间1个Log的文档夹下,而且是tor后缀末尾。将他免费下载后,解压后大家获得俩个文档,将有尺寸文档后缀名变更为网站域名.txt 随后开启。大家会获得1大串文本标识符,不必担忧从何看起,大家1条条的剖析。可是大家最先获知道那些IP所意味着的意思。下面我都列出来了。

Baiduspider=Baiduspider蜘蛛

Googlebot=Googlebot蜘蛛

Sogou=Sogou蜘蛛

Yahoo=Yahoo蜘蛛

360Spider=360Spider蜘蛛

123.125.68.=123.125.68沙盒游戏

220.181.68.=220.181.68沙盒游戏

220.181.7.=220.181.7准备抓取

123.125.66.=123.125.66准备抓取

121.14.89.=121.14.89新站调查

203.208.60.=203.208.60网站出现异常

210.72.225.=210.72.225巡查

123.125.71.106=123.125.71.106低权重

123.125.71.95=123.125.71.95低权重

123.125.71.97=123.125.71.97低权重

123.125.71.117=123.125.71.117低权重

123.125.71.=123.125.71低权重汇总

220.181.108.95=220.181.108.95隔日快照

220.181.108.92=220.181.108.92权重抓取

220.181.108.91=220.181.108.91综合性权重

220.181.108.75=220.181.108.75内页权重

220.181.108.86=220.181.108.86权重主页

220.181.108.89=220.181.108.89权重主页

220.181.108.94=220.181.108.94权重主页

220.181.108.97=220.181.108.97权重主页

220.181.108.80=220.181.108.80权重主页

220.181.108.77=220.181.108.77权重主页

220.181.108.83=220.181.108.83权重主页

220.181.108.=220.181.108权重蜘蛛汇总

大家就在其中1条剖析

123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) Gecko/ Firefox/3.6.12 QQDownload/1.7'

依据上面的界定剖析:

123.125.68.45 - - [24/Jun/2014 15:12:04 +0800] 'GET /xingyexinwen/129.html这句话意味着的意思是谷歌蜘蛛在2014年6月24号,15:12:04来我的网站抓取了xingyexinwen/129.html 这么1条URL,随后将其放到沙盒游戏中(123.125.68.45 意味着沙盒游戏蜘蛛。)

HTTP/1.1' 200 9107 '-' 'Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.2.12) '至于这个,在其中的200是回到码,意味着是一切正常,自然回到码也有301、404、302、304这些1些,能够去查1下意味着的意思。别的意味着是它浏览电脑上的特性,swindows实际操作系统软件这些。

不知道道看了这些,你晕了沒有,自然大家1般习惯性用exec报表去剖析系统日志,将txt文档导入报表中,可以协助大家更直观的去剖析系统日志,了解蜘蛛在大家网站上抓取了哪些內容,随后将內容界定为何。自然还能够运用系统日志剖析手机软件来剖析。

有关更多,还可以检索MOON虫blogcroelhui,必须我详细介绍甚么,欢迎大伙儿给我留言。




扫描二维码分享到微信

在线咨询
联系电话

020-66889888