你现在的位置:首页 > PHP网站建设知识库 > ZenCart > 正文

zencart怎么屏蔽搜索引擎收录

zencart屏蔽搜索引擎收录的方法跟普通的网站一样,都是通过在网站根目录添加robots.txt文件来限制,注:必须放在网站根目录,不然没有用。 

网站还没有做好内容,但是又已经上线的网站,这时候就不希望搜索引擎过来收录页面内容了。因为一旦收录了还没有做好的网页,往往这个页面要过10天半个月才会再次被收录。这样对seo推广是不利的。 

对于还没有做好内容,而又上线的网站,很有必要使用robots.txt文件来限制搜索引擎的收录。那这个文件怎么写呢?其实很简单。 

新建一个txt文件,命名为robots.txt,这个文件名一定要对,不然就没有用了。 
如果要限制谷歌收录的话,可以在这个文件里面写: 

User-agent: Googlebot 
Disallow: / 

就这两行文字就可以限制谷歌收录了。 

robots.txt文件用法举例 

例1. 禁止所有搜索引擎访问网站的任何部分  

       User-agent: * 
Disallow: / 
实例分析:淘宝网的 Robots.txt文件 
User-agent: Baiduspider 
Disallow: / 
User-agent: baiduspider 
Disallow: / 
很显然淘宝不允许百度的机器人访问其网站下其所有的目录。 
例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file) 
User-agent: * 
Allow: 
例3. 禁止某个搜索引擎的访问 
User-agent: BadBot 
Disallow: / 
例4. 允许某个搜索引擎的访问 
User-agent: Baiduspider 
allow:/ 
其中的User-agent:要输入的就是搜索引擎蜘蛛的名字,比如百度蜘蛛Baiduspider,谷歌蜘蛛 Googlebot 。 
更多搜索引擎的蜘蛛请看: 
 
Google的蜘蛛的名字: Googlebot (这个大家可能听说得比较多) 
baidu的蜘蛛的名字:baiduspider (这个也听得比较多) 
Yahoo的蜘蛛的名字:Yahoo Slurp (上述三个,是主要的) 
搜狗的蜘蛛的名字:sogou spider 
腾讯Soso的蜘蛛的名字:Sosospider 
Msn的蜘蛛的名字:Msnbot (老外很喜欢msn的,但在国内,用的人不是很多.) 
Altavista的蜘蛛的名字:Scooter (很少用) 
Lycos的蜘蛛: Lycos_Spider_(T-Rex) (同样很少有人用) 
google的蜘蛛: googlebot 
百度的蜘蛛:baiduspider 
yahoo的蜘蛛:yahoo slurp 
msn的蜘蛛:msnbot 
altavista的蜘蛛:scooter 
lycos的蜘蛛: lycos_spider_(t-rex) 
alltheweb的蜘蛛: fast-webcrawler/ 
inktomi的蜘蛛: slurp 
对于很少使用的搜索引擎可以没有必要理会他。只要做好谷歌百度就可以了