robots 用于告诉网页爬虫如何索引网页
代码语言:javascript复制<meta name="robots" content="all">
它有以下几种参数值:
- all:对索引编制或内容显示无任何限制, 该指令为默认值
- noindex: 告诉搜索引擎不要索引当前页, 等价于noindex,nofollow
- index: 告诉搜索引擎索引当前页
- follow: 即使页面没有被索引,爬虫也应该爬取页面上的所有链接
- nofollow: 告诉爬虫不要跟踪页面上的任何链接以及资源
- noimageindex: 告诉爬虫不要索引页面上的任何图片
- none: 相当于同时使用 noindex 和 nofollow
- noarchive: 不在搜索结果中显示缓存链接。如果您未指定此指令,搜索引擎可能会生成缓存网页,并且用户可能会通过搜索结果访问该网页。
- nosnippet: 不在搜索结果中显示该网页的文本摘要或视频预览
copyright
copyright 用于标注版权信息
代码语言:javascript复制<meta name="copyright" content="jiafangchang">
cache-control
cache-control 用了来控制缓存策略
代码语言:javascript复制<meta http-equiv="cache-control" content="max-age=86400">
主要有以下属性值:
- public 表明响应可以被任何对象(包括:发送请求的客户端,代理服务器,等等)缓存。
- private 表明响应只能被单个用户缓存,不能作为共享缓存(即代理服务器不能缓存它)
- no-cache 不使用强缓存,需要与服务器验协商缓存验证。
- no-store 缓存不应存储有关客户端请求或服务器响应的任何内容,即不使用任何缓存。
- max-age= 缓存存储的最大周期,超过这个周期被认为过期
<meta name="robots" content="all">
<meta name="copyright" content="jiafangchang">
<meta http-equiv="cache-control" content="max-age=86400">