在新站或网站收录有问题时,可能需要持续关注搜索引擎蜘蛛的抓取情况。对于网站的内容是否能够及时的收录,都是我们站长每天都在关注的东西,毕竟每天产出的东西有限,所更加的关注自己写的内容是否能够讨的百度蜘蛛的欢心,好及时收录自己的网页,毕竟早一天收录,这样获得流量的可能性就会更多一点。

出于对网站优化的研究,清楚的了解蜘蛛爬行规律也是很重要的,我们就可以知道蜘蛛的爬行规律,根据这个规律我们再来写文章,这样符合了蜘蛛的胃口是很利于优化的。。。

wordpress程序的都知道,用插件多了,肯定影响网站速度,所以大家做站的尽量少用插件,今天就教大家用代码完美实现wordpress蜘蛛爬行记录生成功能!

教程开始:
1、在wordpress主题文件目录下找到functions.php(主题不同可能文件名也不同)文件,再最后面添加以下代码:


//记录蜘蛛访问记录
    function get_naps_bot(){
    $useragent = strtolower($_SERVER['HTTP_USER_AGENT']);
    if (strpos($useragent, 'googlebot') !== false){
    return 'Googlebot';
    }
    if (strpos($useragent, 'bingbot') !== false){
    return 'Bingbot';
    }
    if (strpos($useragent, 'slurp') !== false){
    return 'Yahoobot';
    }
    if (strpos($useragent, 'baiduspider') !== false){
    return 'Baiduspider';
    }
    if (strpos($useragent, 'sogou web spider') !== false){
    return 'Sogouspider';
    }
    if (strpos($useragent, 'haosouspider') !== false){
    return 'HaosouSpider';
    }
    if (strpos($useragent, 'yodaobot') !== false){
    return 'YodaoBot';
    }
    return false;
    }
    function nowtime(){
    date_default_timezone_set('Asia/Shanghai');
    $date=date("Y-m-d G:i:s");
    return $date;
    }
    $searchbot = get_naps_bot();
    if ($searchbot) {
    $tlc_thispage = addslashes($_SERVER['HTTP_USER_AGENT']);
    $url=$_SERVER['HTTP_REFERER'];
    $addr=$_SERVER['REMOTE_ADDR'];
    $file="robotslogs.txt";  //根目录下记录蜘蛛访问的文件
    $time=nowtime();
    $data=fopen($file,"a");
    $PR="$_SERVER[REQUEST_URI]";
    fwrite($data,"[$time] - $addr - $PR - $searchbot $tlc_thispage \r\n");
    fclose($data);
    }

2、在网站根目录下创建一个名为 robotslogs.txt 的文件即可,文件名可自定义。注意需为 robotslogs.txt 设置可写权限,最好是 777 权限,755 权限某些主机配置下可能存在无法写入的情况。以上代码能记录搜索蜘蛛的基本抓取信息,完成以后,一般 24 小时候,就可以看到你“robotslogs.txt”当中已经满是数据的了。

常见问题FAQ

免费下载或者VIP会员专享资源能否直接商用?
本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。更多说明请参考免责介绍。
提示下载完但解压或打开不了
最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug,建议用百度网盘软件或迅雷下载。 若排除这种情况,可在对应资源底部留言,或联系客服处理。