alltheweb蜘蛛:fast-webcrawler*表明所有的搜索引擎Disallow:(禁止)/代表根目录User-agent:*Disallow:/禁止所有搜索引擎收录Allow:我们不禁止默认就是允许。当某个文件夹不知道有多少个文件同时大部分都需要屏蔽,…
类别:
网站优化 作者:
商视互联 日期:
2011-12-05 23.19.53 点击:
44 评论:
20
1、nofollow和robots.txt错误认识。Robots:禁止收录、允许收录Nofollow:不是屏蔽某个网址的收录,搜索引擎还是有可能会被收录。禁止权重的传递。rel=”nofollow”蜘蛛会去抓取这个网址,但不计算权重。先抓取,后投…
类别:
网站优化 作者:
商视互联 日期:
2011-12-05 23.18.12 点击:
74 评论:
17