最近发现我的导航网站没有了广告，是的空白一片，想着是不是被禁了，然后登录账户查看，谷歌给非提示是“出现广告抓取工具错误，这可能导致收入减少。”，点击右侧操作才提示抓取工具：Robots.txt 文件无法访问导致的原因，好吧，我第一印象就是怎么可能呢，我又没删除，去网站目录查看果真没有这个文件了，好吧，我的错。
看到了吧，就是这样的错误，点击修正按钮后弹出新窗口页面，问题有两个：
一是：抓取工具，Robots.txt 文件无法访问。 二是：抓取工具，未知错误。
但是归根结底就是一个，因为无法抓取Robots.txt文件所以才会导致未知错误，那么知道原因了就得解决，如图：
解决的办法其实很简单，仅仅需要重新设置下Robots.txt文件内容即可，代码如下（仅适用zblog程序）：
代码语言：javascript复制User-agent: *
Allow: /feed.php
Allow: /zb_system/script/c_html_js_add.php
Disallow: /*.php
Disallow: /*.ttf
Disallow: /*.eot
Disallow: /*.woff
Disallow: /zb_system/
Disallow: /zb_users/data/
Disallow: /zb_users/logs/
Sitemap: /sitemap.xml“User-agent”的意思针对搜索引擎蜘蛛，该项的值设为“*”，表示的是所有的搜索引擎蜘蛛。
“Allow”的意思是希望被搜索引擎抓取的一组url链接，而这url也可以是完整或者部分。如：Allow：/feed.php，搜索引擎可以访问/feed.phpy页面。Allow通常和Disallow搭配使用的，同意访问部分网页并禁止访问其他网页URL链接。
“Disallow”的意思是告诉搜索引擎不要抓网站下的 zb_system 文件夹里的所有文件，这个根据实际情况添加就行。
最后一行“Sitemap”是告诉搜索引擎网站地图的链接，最好是xml格式的，这个zblog应用中心后台插件可以自行免费下载。
设置完成后，上传到网站根目录，不知道的，自己测试http://域名/robots.txt，如果可以访问就正确，访问不了就是不是根目录，一切准备就绪就等待谷歌的爬虫重新抓取，就目前而言，从我修改完成到今天还是没有再次抓取，谷歌也声明了：抓取过程是自动执行的，因此，他们无法应您的请求更频繁地执行抓取。
