明经CAD社区

 找回密码
 注册

扫一扫,访问微社区

QQ登录

只需一步,快速开始

查看: 1521|回复: 88

这段时间真被百度爬虫玩死

    [复制链接]
发表于 2020-7-26 17:27 | 显示全部楼层 |阅读模式
近期网站突然变得很慢,其它慢也有一段时间了,只是原来还能接受,但近一周来,大家反映说根本无法浏览。
开始我还以为硬盘寿命差不多了,担心数据库又会受损,故急忙购买固态硬盘(固态硬盘速度更快,也不容易坏)换上。
其实换上很快,把原来的网站文件及数据库文件转移到新盘上,改一下盘符就可以了。
原以为换上后就能好起来,可是浏览起来还是没有改观。
我都开始怀疑人生了。

为了确实是否是数据库问题,我换上了2017年数据库,但速度一样非常慢,所以,数据库是没问题的。

以为了网站有些外链慢造成本身自己慢,又找到DZ论坛上那些已经过时的内部链接,去除掉。但还是没有改善。

网站慢主要反应在:

1、CPU占用达到92%,其实系统一直留着8%是为是服务不挂,所以,92%就是满载状态。
2、带宽全被占用的,5M的带宽,基本也被占完了。

以上两点,也就造成了网站一直等待响应的原因。
但由于网站刷出来后,底部显示的加载时间又是非常低,一般只有0·1秒,所以数据库应该是正常的,网站程序本身应该也是正常的。

查了IIS的日志,发现整个日志都被百度爬虫给占满了,每秒钟至少都有几十次的爬虫记录。

查了一下百度站长的后台,百度每天爬虫次数竟然超过120万次的数量。

百度就是个成事不足,败事有余的家伙,明经站在百度的权重那么低,却每天派那么大爬虫来挤占带宽,太可恶了。

我通过设置网站的robots.txt 文件,设置.htaccess文件来屏蔽爬虫,百度站长后台设置降低爬虫次数为最低值(7万多),竟然都无效,爬虫还是象病毒一样,没有消减。

最后没有办法,通过安全平台,把爬虫的IP地址给禁止了,这下消停了,网站一下子就恢复正常。

这是正常后的CPU占用情况,已经非常低了。


这次的排查,也把一年多来登录慢的问题也解决了,相当于网站基本都恢复正常状态。

百度去死吧,技术水平不行,就不要假装提供搜索服务来赚钱。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?注册

x

点评

yxp
老大辛苦了,这几天网站速度嗖嗖的  发表于 2020-7-31 19:14
站长辛苦了,感谢 !!!  发表于 2020-7-29 22:34

评分

参与人数 16明经币 +11 金钱 +361 收起 理由
weixin159 + 1 + 20 很给力!
qianzj + 5 很给力!
cjrun + 50
VBALISPER + 1 很给力!
kwok + 1 + 50 很给力!
kuangkill + 6
flowerson + 5 站长很给力!
czb203 + 1 + 50 现在网站登入火箭般的速度,速度飞起~~
hhh454 + 1 + 10 很给力!
USER2128 + 1 很给力!

查看全部评分

发表于 2020-7-26 18:06 | 显示全部楼层
站长辛苦了!~~
发表于 2020-7-26 18:09 | 显示全部楼层
干死百度这个垃圾
发表于 2020-7-26 18:13 来自手机 | 显示全部楼层
干她娘的度娘
发表于 2020-7-26 18:21 | 显示全部楼层
感谢站长,辛苦了。
发表于 2020-7-26 18:38 | 显示全部楼层
太可恶了,这些有钱人竟这样搞。
发表于 2020-7-26 18:43 来自手机 | 显示全部楼层
百毒垃圾真是不想说了,感谢终于找到原因好了。
发表于 2020-7-26 19:05 | 显示全部楼层
老大,感谢有您,又费时又费力又花钱,给我们提供那么好的学习交流平台。
发表于 2020-7-26 19:17 来自手机 | 显示全部楼层
明总辛苦了,百度越来越*了
发表于 2020-7-26 19:32 | 显示全部楼层
[img][/img]
您需要登录后才可以回帖 登录 | 注册

本版积分规则

小黑屋|手机版|CAD论坛|CAD教程|CAD下载|联系我们|关于明经|明经通道 ( 粤ICP备05003914号  
©2000-2020 明经通道 版权所有 本站代码,在未取得本站及作者授权的情况下,不得用于商业用途

GMT+8, 2020-8-13 02:16 , Processed in 0.151347 second(s), 32 queries , Gzip On.

Powered by Discuz! X3.3

© 2001-2013 Comsenz Inc.

快速回复 返回顶部 返回列表