专注于网站建设和搭建网络营销体系
商视互联,北京做网站公司
标签

Robots和nofollow操作(一)

alltheweb蜘蛛:fast-webcrawler*表明所有的搜索引擎Disallow:(禁止)/代表根目录User-agent:*Disallow:/禁止所有搜索引擎收录Allow:我们不禁止默认就是允许。当某个文件夹不知道有多少个文件同时大部分都需要屏蔽,…
类别:网站优化 作者:商视互联 日期:2011-12-05 23.19.53 点击:44 评论:20

Robots和nofollow操作(二)

1、nofollow和robots.txt错误认识。Robots:禁止收录、允许收录Nofollow:不是屏蔽某个网址的收录,搜索引擎还是有可能会被收录。禁止权重的传递。rel=”nofollow”蜘蛛会去抓取这个网址,但不计算权重。先抓取,后投…
类别:网站优化 作者:商视互联 日期:2011-12-05 23.18.12 点击:74 评论:17