什么是搜索引擎蜘蛛? 网络爬虫(又称为网页蜘蛛,网络机器人),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。百科详情 简单来讲:蜘蛛就是搜索引擎爬虫,用于检测我们网站上 ...

前言 在阅读大佬们的博客文章的时候经常发现文章里面的站外链接没有添加nofollow标签防止流失权重,研究后才发现是做了跳转,然后在Robots蜘蛛文件里面禁止爬取这个目录,就能实现不流失权重的前提下做到外链跳转,深入学习了这个功能,写下这 ...