- “User-Agent”搜索引擎的名字。
- 针对所有搜索引擎写法：User-Agent: *，针对百度搜索引擎写法：User-Agent:Baiduspider
- “Allow”允许抓取。例：允许抓取news目录，参考写法：Allow: /news
- “Disallow”禁止抓取。例：禁止抓取admin目录，参考写法：Disallow: /admin
发布者：全栈程序员栈长，转载请注明出处：https://javaforall.cn/113887.html原文链接：https://javaforall.cn
