首页 > SEO技术 > 正文

robots.txt协议里Disallow后面的栏目加不加“/”的区别

作者: admin     来源: 红尘画舫     发布时间: 2019-11-28 20:11:07    浏览人数:
摘要在robots.txt里,通常会看到Disallow后面的栏目加“/”和不加“/”的写法,如:Disallow: /abc 与 Disallow: /abc/ ,这有什么区别呢?今天我们就来说说robots协议里Disallow后面的栏目加不加“/”的区别。
在robots.txt里,通常会看到Disallow后面的栏目加“/”和不加“/”的写法,如:Disallow: /abc 与 Disallow: /abc/ ,这有什么区别呢?今天我们就来说说robots协议里Disallow后面的栏目加不加“/”的区别。
robots.txt协议里Disallow后面的栏目加不加斜杠的区别是什么
其实,robots.txt里面加不加“/”的区别,加“/”表示禁止网络爬虫抓取该文件夹下面的所有文件,但是该文件夹是允许被访问的;不加“/”表示禁止网络爬虫抓取该文件夹及该文件夹下的所有文件。如:

Disallow: /abc   (表示:禁止网络爬虫抓取abc文件夹及abc文件夹下的所有文件)
Disallow: /abc/  (表示:禁止网络爬虫抓取abc文件夹下面的所有文件,但是abc文件夹是允许被访问的)

就这么简单,现在明白robots.txt里Disallow后面的栏目加与不加“/”的区别了吧。码字也不容易啊,大家就给个赞吧!
TAGS:robots
很赞哦! ()