禁止网页被搜索引擎收录和索引的方法

禁止网页被搜索引擎收录和索引的方法

使用场景:

当我们有些网站,如一些后台等,不需要被搜索引擎收录的时候,或者在新站调整期间,我们就可以通过这个方法暂时禁止搜索引擎对我们的收录。

 

使用方法两种:

第一种:robots.txt方法

站点根目录中有个robots.txt,没有的话可以新建一个上传。

User-agent: *
Disallow: /

禁止所有搜索引擎访问网站的所有部分

User-agent: *
Disallow: /css/
Disallow: /admin/

禁止所有搜索引擎访问css 和admin 目录,将CSS或admin目录修改为你指定的文件目录或文件即可。

 

第二种:网页代码方法

<head>与</head>之间,加入<meta name="robots" content="noarchive">代码,此标记禁止搜索引擎抓取网站并显示网页快照。

注:已经加了禁止代码,但是搜索引擎还可以搜索出来,因为搜索引擎索引数据库的更新需要时间。虽然Baiduspider已经停止访问您网站上的网页,但百度搜索引擎数据库中已经建立的网页索引信息,可能需要数月时间才会清除。

暂无评论

发表评论

您的电子邮件地址不会被公开,必填项已用*标注。

相关推荐

Kdevtmpfsi 挖矿病毒处理方式

中毒线上状态:CPU占满90%+,引发线上服务处理异常缓慢等问题,从而导致业务异常。 处理方法: 1. 查看占用高的进程。 # top   2. 排序按下1,找到占用高CPU的进程后,Ctrl+z退出。   3. 查找对应的进程号。(可以使用pgrep来更加精确查询) # ps -au ...

Mysql导出表结构(含列名、数据类型、字段备注注释)

MYSQL使用sql文件导出表结构(含列名、数据类型、字段备注注释)可以导出成Excel。 执行如下sql: SELECT COLUMN_NAME 列名, COLUMN_TYPE 数据类型, DATA_TYPE 字段类型, CHARACTER_MAXIMUM_LENGTH 长度, IS_NULLABLE 是否为空, COLUMN_DEFAULT 默认值, COLUMN_ ...

Docker查看启动进程及日志命令

一、docker ps 查看正在运行的docker容器有哪些。   二、docker ps -a 查看所有docker容器,包括不在running状态的。   三、docker logs 参数 容器id 查看具体某一个容器的日志。 其中参数可选择的有: -f follow 表示实时显示日志 -t timestamp 表示 ...

运维职责和分类划分

运维前景 要说运维的前景还是很广阔的。可以这么说只要有互联网就会需要运维,试问下,现在的生活还能没有互联网吗?所以,就业前景还是可以的。就企业而言,运维属于技术职务,所以走的是P路线。什么是P路线呢?是互联网就个人职业规划的上升和晋级通道,P路线 ...

微信扫一扫,分享到朋友圈

禁止网页被搜索引擎收录和索引的方法