phper `blog

有时候，会有那么几个页面不想让搜索引擎即蜘蛛爬行，就使用如下代码:

<meta name=”robots” content=”noindex,nofollow”>

在这里，META NAME=”ROBOTS”是泛指所有的搜索引擎的，content部分有四个命令：index、noindex、follow、nofollow，命令间以英文的 “,”分隔。　　INDEX命令：告诉搜索引擎抓取这个页面FOLLOW命令：告诉搜索引擎可以从这个页面上找到链接，然后继续访问抓取下去。

NOINDEX命令：告诉搜索引擎不允许抓取这个页面

NOFOLLOW命令：告诉搜索引擎不允许从此页找到链接、拒绝其继续访问。

根据以上的命令，我们就有了一下的四种组合

<META NAME=”ROBOTS” CONTENT=”INDEX,FOLLOW”>：可以抓取本页，而且可以顺着本页继续索引别的链接

<META NAME=”ROBOTS” CONTENT=”NOINDEX,FOLLOW”>：不许抓取本页，但是可以顺着本页抓取索引别的链接

<META NAME=”ROBOTS” CONTENT=”INDEX,NOFOLLOW”>：可以抓取本页，但是不许顺着本页抓取索引别的链接

<META NAME=”ROBOTS” CONTENT=”NOINDEX,NOFOLLOW”>：不许抓取本页，也不许顺着本页抓取索引别的链接。