在SEO的过程中，你是否遇到过这样的问题：服务器访问的CpU利用率几乎是100%，页面加载速度特别慢，似乎受到了DDOS的攻击。

经过一番检查，发现原来的目标网站频繁被大量不相关的“爬虫”抓取，对于一个小网站来说，可能是一场灾难。

因此，当我们做网站优化时，我们需要对特定的蜘蛛进行选择性的指导。

那么，如何对恶意的“蜘蛛”保守秘密呢？

根据之前的SEO经验分享，蝙蝠侠IT将通过以下内容进行阐述：

1.搜索引擎爬虫

对于国内的朋友来说，我们都知道在SEO的过程中，我们面对的最常见的爬虫就是搜索引擎的爬虫，比如百度蜘蛛，同时我们也会面对各种搜索引擎的蜘蛛，比如：

360Spider、搜狗pider、Bytespider

Googlebot、Bingbot、Slurp、Teoma、ia_archiver、twiceler、MSNBot

其他爬行动物

如果不刻意配置自己的robots.txt文件，理论上可以对你的目标页面进行抓取和爬取，但是对于一些中小型网站来说，偶尔会严重浪费自己的服务器资源。

这个时候，我们需要进行选择性的、合理的引导，尤其是一些尴尬的问题，比如：你希望谷歌减少在网站上爬行，但是你不能完全屏蔽它。你可能需要一些提示，比如：特定爬虫访问，反馈不同文章列表：

(1)控制更多新频率的列表

2反馈大量重复性，内容农场页面

善意的“蜘蛛陷阱”，如：闪光

4如何管理对方的SEO管理平台，可以调整抓取评论并适当调整

虽然这样的策略可能会损害页面的可信度，但对于这些不想频繁爬行但需要不断爬行的蜘蛛来说，这是我能想到的一个相对“有效”的方法来合理控制爬行。

2.链接分析爬虫

目前，一个SEO外链分析管理工具每天需要花费大量的服务器资源来抓取整个网络，检测每个网站的页面链接。

对于一些资源密集型的网站来说，它们每天可能会爬行数千次，这并不罕见。

如果你不想让你的网站参与其中，最简单的策略就是在机器人协议中完全包含这样的爬虫。

3.内容收集爬虫

但是，当我们面对一些恶意的内容收集爬虫时，我们相对尴尬，对方往往采取“隐身”状态，比如模拟某知名搜索引擎蜘蛛的名字。

针对这个问题，我们只能手动判断和检查对方庐山，的真实面貌例如，使用Ip pan-resolution命令来判断是否真实。

Linux平台：hostip

windows平台：nslookupIp

从而判断对方的解析地址是否为对应的搜索引擎域名。

4.蜘蛛池爬行动物

目前市场上做百度蜘蛛池的人很多。它的主要目的是协助更多的网页做百度快速收录。但是由于一些随机下载的蜘蛛池程序设计不规范。

未能正确抓取和限制不同的蜘蛛往往会导致服务器资源被大量占用，这使得服务提供商很容易关闭服务器。

如果你想用这个策略来提高页面的包容性，你可能需要多加注意。(但我们不推荐)

总结：SEO工作是一项细致的工作，每一个策略都影响着全站的运营状况，以上内容只是简要分析，适用于中小站长，仅供参考！

原创蝙蝠侠IT/p/1151.html转载请注明！