您所在的位置:主页 > 网络营销 > 搜索优化SEO > 正文
文字大小:

不可忽视的robots.txt文件作用

未知 赢时代小编 2010-07-05 09:40 次阅读

在很多网站中,站长们都忽略了使用robots.txt文件。因为很多站长都认为,自已的网站没有什么秘密可言,而且自已也不太会使用robots.txt的语法,因此一旦写错了会带来更多的麻烦,还不如不用呢。

  


 


 

  其实这样的做法是不对的,如果蜘蛛在某某网站访问了一个不存在的URL,那么就会被记录下一条404信息(网页不存在),而且robots.txt作为被搜索引擎蜘蛛访问我们网站的第一个文件,一旦人搜索引擎找不到这个文件,也会在它的索引服务器上记录下一条404信息。如果这样的404信息过多,那么搜索引擎蜘蛛就会认为该网站价值较低,从而降对该网站的“印象分”,这样就是我们经常听到的“降低权重”。

  “权重”是一个影响网站在搜索引擎排名中非常重要的因素,如果网站的权重高,那么搜索引擎蜘蛛也会频繁地访问该网站,而且排名也好。如果权重低,那么搜索引擎蜘蛛对于网站的访问次数也相应的要少,同是网站的排名较差。而网站的权重是由很多条件所积累的。404信息就是很重要的一条,因此不是不重视。

  虽然在百度的帮助文件中,有这样一句话“请注意,仅当您的网站包含不希望被搜索引擎收录的内容时,才需要使用robots.txt。如果您希望搜索引擎收录网站上的所有内容,请不要建立robots.txt文件”。实际上百度只是但心由于网站管理员不懂得robots.txt语法,导致搜索引擎蜘蛛无法正常抓取网站,才这样写的。建立robots.txt文件还是必须的。哪怕这个文件是这个空白的文本文档都成。因为我们的网站毕竟不是仅仅会被百度收录,同时也会被其它搜索引擎收录,上传一个空白的robots.txt文件,至少不会导致一条404信息的产生。

QQ书签 百度搜藏 Google书签 新浪ViVi 雅虎收藏 分享到校内人人网 转贴到开心网
    相关文章
    
    发表评论
    验证码点击我更换图片
    最新评论 查看全部评论
    推荐阅读

    发现身边的资源,为你的SEO项目备用

    发现身边的资源,为你的SEO项目备用近年来,作为最主要的信息处理和挖掘渠道,SEO在整个互联网行业早已不再陌生。随着搜索引擎使用率的不断增加,SEO从最初