飞絮文博——资讯学习综合博客

专注于各种综合类资讯以及技术文章＆优化等各类学习资讯

[置顶] 我们就这么结束了么

[置顶] 网信数码域名\主机活动优惠中[友情推荐]

[置顶] 本站诚招友情链接【长期有效】

[置顶] 美女图片浏览软件下载——【推荐】

[置顶] 本站出售捷易通自动充值系统—自动充值，有意者速联系

2012年4月15日

robots.txt的规则误区及百度和Google的robots工具的使用

对于robots.txt文件对于网站的作用大家都知道，但是通过观察发现，有些朋友对于robots.txt文件的规则还是有一定的误区。

比如有很多人这样写：

User-agent: *

Allow: /

Disallow: /mulu/

不知道大家有没有看出来，这个规则其实是不起作用的，第一句Allow: / 指的是允许蜘蛛爬行所有内容，第二句Disallow: /mulu/指的是禁止/mulu/下面的所有内容。

表面上看这个规则想达到的目的是：允许蜘蛛爬行除了/mulu/之外的网站所有页面。

More...

Tags: robots.txt  百度站长工具  robots设置  
发布:子鱼 | 分类:建站经验 | 评论:0 | 引用:0 | 浏览:
分页:« 首页...«1»...尾页 »

日历

<< 2012-8 >>

Sun

Mon

Tue

Wed

Thu

Fri

Sat

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

图标汇集

联系邮箱：[email protected] , Powered By 飞絮视频乐园 , 鲁ICP备08128977号 , 值班站长：
本站采用创作共用版权协议, 要求署名、非商业用途和保持一致. 转载本站内容必须也遵循“署名-非商业用途-保持一致”的创作共用协议.
This site is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 2.5 License.