网站的robots文件的写法禁止搜索搜索蜘蛛

重庆空降SEO2020-06-21810

网站的robots文件的写法禁止搜索搜索蜘蛛

07.jpg

对于大部分做seo优化的童鞋来说,一定都熟悉robots文件。今天北京SEO优化公司空降科技就跟大家聊一聊网站的robots文件的写法利用robots文件禁止搜索蜘蛛或者限制爬虫的范围

robots文件是属于网站的一个协议文件,对网站跟搜索引擎之间的一份协议,大部分搜索引擎都会遵守这份robot文件的内容,它就好比是我们去一个旅游景点,在每个景点的入口处,都会有一份游客须知的公告,跟我们说清楚,好比景区内哪些地方可以去,哪些地方禁止去等。

  这份网站协议也同样具有这样的作用,它告诉到我们网站的蜘蛛,哪些页面可以抓取,哪些页面是禁止抓取的。这样对我们做seo网站优化来说是非常有帮助的,可以让我们不需要参与排名的页面不让蜘蛛去抓取,重点去抓取那些我们需要用来做排名的页面。

  robots文件的写法十分简单,但是要使用好它,却不是一件容易的事情需要注意一下三点。
   
     一、它包含三个命令值
    

  1、user-agent: 这个代表用户代理(定义搜索引擎),例如针对百度搜索引擎的规则,可以写成:user-agent: baiduspider

  2、Disallow:禁止(填写禁止蜘蛛抓取的路径地址)

  3、Allow:允许(填写允许蜘蛛抓取的路径地址)
    

  二、两个通配符
    

  1、* 匹配数字0-9以及字母a-z多个任意字符

  2、$ 匹配行结束符(针对带各种后缀的文件) 例如:jpg$、png$
    

  三、一个简单的robots文件写法的例子
    

  user-agent: baiduspider

  Disallow:

  网站seo优化公司 空降科技http://www.kongjiang.net

  这个就是允许蜘蛛抓取网站的所有内容,一般建议刚做网站的新手朋友写一个这样的robots文件上传到根目录即可。等熟悉网站的结构之后,再根据个人的需求进行修改。

  最后一句sitemap是放置网站地图的链接地址,如果不会制作网站地图的朋友可以参考:网站地图的制作。

  以上就是关于网站的robots文件的写法,虽然它写法简单,但是要把它完全用好,还需要好好琢磨,童鞋们看明白了吗?如果还有什么问题可以到空降科技qq群提问。

网友评论