meta 标签的 robots 属性
<meta name="robots" content="index,follow" />
<meta name="robots" content="noindex,follow" />
<meta name="robots" content="index,nofollow" />
<meta name="robots" content="noindex,nofollow" />
robots 属性一共有以上4种写法
  index 表示答应机器人抓取本页
  follow 表示答应机器人沿着页面链接继承抓取
  noindex 表示不答应机器人抓取本页
  nofollow 表示不答应机器人沿着页面链接继承抓取

<meta name="robots" content="index,follow" />
 等价于
  <meta name="robots" content="all" />

<meta name="robots" content="noindex,nofollow" />
 等价于
  <meta name="robots" content="none" />

另注：Google 自增了属性值 archive(noarchive)，用来限制Google是否留存网页快照。
  <meta name="robots" content="all,noarchive" />

  留意：除了Meta标签我们还可认为自己站点建立robots.txt文件为不同目录设定不同参数，对于robots.txt的设定，请务必阅读过相应文档，并且参照尺度格局进行编纂。
    请参照-meta标签robots属性的robots.txt方法。