禁止网页被搜索引擎收录和索引的方法

禁止网页被搜索引擎收录和索引的方法

使用场景:

当我们有些网站,如一些后台等,不需要被搜索引擎收录的时候,或者在新站调整期间,我们就可以通过这个方法暂时禁止搜索引擎对我们的收录。

 

使用方法两种:

第一种:robots.txt方法

站点根目录中有个robots.txt,没有的话可以新建一个上传。

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /css/
Disallow: /admin/

禁止所有搜索引擎访问css 和admin 目录,将CSS或admin目录修改为你指定的文件目录或文件即可。

 

第二种:网页代码方法

<head>与</head>之间,加入<meta name="robots" content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。

注:已经加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。

相关推荐

html中使用mate对面页面的跳转操作

1)需要将当前页面每5秒刷一下。 <meta http-equiv="refresh" content="5">   2)将当前页面2秒后跳转到指定页面 content 后填写时间,以秒为单位。 url 后填写的是需要跳转的网址。 <meta http-equiv="refresh" content="2; url='/'">

IIS6.1更换SSL证书

在IIS的服务器证书内,将旧的证书删除,导入新的证书即可。 如果有做CDN等防护措施,记得也同时更新下新证书。

linux修改文件权限遭遇Operation not permitted

当想给文件夹赋予777权限,然后你看到以下提示: [root@iZq72vpf wwwroot]# chmod -R 777 wenjian chmod: changing permissions of ‘wenjian/.user.ini’: Operation not permitted 心情(/ □ \)…… 是 user.ini 这个文件不允许修改导致的报错。 解决起来也也很容 ...

bat定时任务

1、功能:windows平台定时完成某任务 2、要点: 1)定时实现: ping 2)时间比较:"11:00:00" == "%time:~0,8%" 3)不断循环:goto 4)具体功能:可能是启动某个程序、打印某个日志 bat脚本代码: @echo off :Again if "11:00:00" ==  "%time:~0,8%" ( echo "Ca ...

暂无评论

发表评论

您的电子邮件地址不会被公开,必填项已用*标注。