使用场景:
当我们有些网站,如一些后台等,不需要被搜索引擎收录的时候,或者在新站调整期间,我们就可以通过这个方法暂时禁止搜索引擎对我们的收录。
使用方法两种:
第一种:robots.txt方法
站点根目录中有个robots.txt,没有的话可以新建一个上传。
User-agent: * Disallow: /
禁止所有搜索引擎访问网站的所有部分
User-agent: * Disallow: /css/ Disallow: /admin/
禁止所有搜索引擎访问css 和admin 目录,将CSS或admin目录修改为你指定的文件目录或文件即可。
第二种:网页代码方法
<head>与</head>之间,加入<meta name="robots" content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。
注:已经加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。
暂无评论