这段时间真被百度爬虫玩死

mccad

近期网站突然变得很慢，其它慢也有一段时间了，只是原来还能接受，但近一周来，大家反映说根本无法浏览。
开始我还以为硬盘寿命差不多了，担心数据库又会受损，故急忙购买固态硬盘（固态硬盘速度更快，也不容易坏）换上。
其实换上很快，把原来的网站文件及数据库文件转移到新盘上，改一下盘符就可以了。
原以为换上后就能好起来，可是浏览起来还是没有改观。
我都开始怀疑人生了。

为了确实是否是数据库问题，我换上了2017年数据库，但速度一样非常慢，所以，数据库是没问题的。

以为了网站有些外链慢造成本身自己慢，又找到DZ论坛上那些已经过时的内部链接，去除掉。但还是没有改善。

网站慢主要反应在：

1、CPU占用达到92%，其实系统一直留着8%是为是服务不挂，所以，92%就是满载状态。
2、带宽全被占用的，5M的带宽，基本也被占完了。

以上两点，也就造成了网站一直等待响应的原因。
但由于网站刷出来后，底部显示的加载时间又是非常低，一般只有0·1秒，所以数据库应该是正常的，网站程序本身应该也是正常的。

查了IIS的日志，发现整个日志都被百度爬虫给占满了，每秒钟至少都有几十次的爬虫记录。

查了一下百度站长的后台，百度每天爬虫次数竟然超过120万次的数量。

百度就是个成事不足，败事有余的家伙，明经站在百度的权重那么低，却每天派那么大爬虫来挤占带宽，太可恶了。

我通过设置网站的robots.txt 文件，设置.htaccess文件来屏蔽爬虫，百度站长后台设置降低爬虫次数为最低值（7万多），竟然都无效，爬虫还是象病毒一样，没有消减。

最后没有办法，通过安全平台，把爬虫的IP地址给禁止了，这下消停了，网站一下子就恢复正常。

这是正常后的CPU占用情况，已经非常低了。


这次的排查，也把一年多来登录慢的问题也解决了，相当于网站基本都恢复正常状态。

百度去死吧，技术水平不行，就不要假装提供搜索服务来赚钱。

bssurvey

其實，還是感謝mccad無私的貢獻，或許百度有百度的思維，就當作是一種磨鍊吧，沒有的百度的百般磨鍊，哪來今天的成就，放寬心，世界更美好，大家共勉之。

前生

现在的世界看不懂了，我另一台电脑主要是备份用的，今天偶尔用了一下，好多功能居然不能用了，查了半天，NND，是电脑管家在做怪，电脑上所有包含ACAD,*acad*的文件全部自动康概的给我屏蔽了，傻蛋电脑管家。

mokson

终于好了，对以往明经论坛慢得压抑不爽的心情终于落地奔放了。
我还以为是老坛主穷得交不起网站服务费，用了免费的空间呢。
这下天终于亮了。真是太爽了。

灰石Jeremy

站长辛苦了！~~

clinber

干死百度这个垃圾

3xxx

干她娘的度娘

khadwf

感谢站长，辛苦了。

烟盒迷唇

太可恶了，这些有钱人竟这样搞。

Bao_lai

百毒垃圾真是不想说了，感谢终于找到原因好了。

xvjiex

老大，感谢有您，又费时又费力又花钱，给我们提供那么好的学习交流平台。

仲文玉

明总辛苦了，百度越来越*了

sunwei2009

[img][/img]