seo的优化做得好,毫无疑问可以提升网站的排名,增强百度,Google,搜狗等搜索引擎对网站的爬取,不断提升网站的权重,从而提高网站的曝光率,进而提升转化
蜘蛛爬取会对网页的文本和链接进行爬取,对于没有可利用的价值的链接,页面,则减少百度蜘蛛的爬取
那么如何做?
http://mpvideo.qpic.cn/0bc3meac6aaapuaghgrvd5rfayodf5qqalya.f10002.mp4?dis_k=9b2c600266487a3ec82e018407259416&dis_t=1648724269&vid=wxv_2316393120189841412&format_id=10002&support_redirect=0&mmversion=false
链接添加上rel=”nofollow”属性
nofollow是HTML元标签(meta)的content属性和a链接标签的rel属性的一个值，告诉机器(爬虫)无需追踪目标页
方式1-meta标签上使用
用于meta元标签：<meta name="robots" content="nofollow" />，告诉爬虫该页面上所有链接都无需追踪
方式2-a链接上使用
<a href="login.aspx" rel="nofollow">登录</a>,告诉爬虫该页面这个链接,无需追踪
nofollow的作用
- 防止不可信的内容，最常见的是博客上的垃圾留言与评论中为了获取外链的垃圾链接，为了防止页面指向一些拉圾页面和站点,也就是防止站内引流
- 针对付费链接：为了防止付费链接影响Google的搜索结果排名，Google建议使用nofollow属性
- 引导爬虫抓取有效的页面：避免爬虫抓取一些无意义的页面，影响爬虫抓取的效率
结论
对于一些不想搜索引擎爬取的链接和页面,可以设置nofollow属性,提高整站的权重,从而提高百度,google蜘蛛的收录与爬取
