alltheweb蜘蛛：fast-webcrawler
　　* 表明所有的搜索引擎
　　Disallow: （禁止）
　　/ 代表根目录
　　User-agent: *
　　Disallow: / 禁止所有搜索引擎收录
　　Allow: 我们不禁止默认就是允许。当某个文件夹不知道有多少个文件同时大部分都需要屏蔽，极少部分的要允许。
　　在/admin/这个目录下面，我们不知道有多少路径，但是我们知道了除了以下需要抓取外/app/ admin.php index.php 其他都要屏蔽掉。
　　User-agent: *
　　Disallow: /admin/
　　Allow: /admin/app/
　　Allow: /admin/admin.php
　　Allow: /admin/index.php
　　第五个语法运用阶段。
　　/admin/ 和/admin 有什么不一样
　　User-agent: *
　　Disallow: /admin/ 屏蔽了admin文件夹的收录
　　User-agent: *
　　Disallow: /admin 屏蔽了
　　他有什么区别？
　　User-agent: *
　　Disallow: /admin/
　　# 这个
　　User-agent: *
　　Disallow: /admin/
　　# 这个是指屏蔽了admin 文件夹的收录
　　User-agent: *
　　Disallow: /admin
　　# 这个不仅仅是屏蔽了admin这个文件夹的收录，还屏蔽了这个网站所有以admin开头的文件和路径都会屏蔽。
　　通配符
　　$是结束符，所有以他结尾的都能够进行匹配。.php$ 这个代码的意思就是所有以 .php结束的路径他全部能够代表。
　　*批量匹配符，表示为空，或者多个任意字符，各有运用不一样。
　　Disallow: /*.jpg$ 禁止全站图片抓取。
　　允许 jpg 抓取
　　禁止一定要有起始符，允许不需要有起始符。
　　禁止有歧义、允许没有歧义，我们不禁止的就默认为允许的。
　　Disallow: /*.htm$
　　Disallow: .htm$ 两种语法完全不一样。
　　北京网站建设推荐阅读：网站哪些因素影响排名

 本文由北京做网站整理，转载请注明：商视互联 地址：http://www.34178.net/