为了给服务器减轻压力，如何屏蔽各大搜索引擎蜘蛛？或者各大蜘蛛IP段？
This topic created in 4308 days ago, the information mentioned may be changed or developed.
 |
liuchen9586Jan 17, 2015
1
网站根目录下建立个robots.txt文件
然后内容写上 User-agent: * Disallow: / 就行了 |
 |
ChipperJan 17, 2015
2
在网站的根目录里建立一个robots文件即可。
|
 |
xfspaceJan 17, 2015
3
|
 |
fisingJan 17, 2015 via iPad
4
除了robots文件，最好能在服务器层面deny
|
 |
typcnJan 17, 2015
5
我之前尝试过拒绝 UA 中含有 360 的请求，结果 360 搜索非常正常地收录了我的最新内容。
|
 |
kiritoalexJan 17, 2015 via Android
6
@typcn 360爬虫不遵循robots协议，只能屏蔽IP
|
 |
hjc4869Jan 17, 2015 via iPhone
7
@kiritoalex 360不支持https吧
|
|
kiritoalexJan 17, 2015 via iPhone
8
@hjc4869 应该是
|
|
kiritoalexJan 17, 2015 via iPhone
9
最有效的方式是屏蔽搜索引擎整个的IP段，对于遵循robots的爬虫可以直接放robots.txt.不遵循的也只好屏蔽整个IP段了（比如腾讯搜搜和360的爬虫）
|
 |
overlordsJan 17, 2015
10
使用dnspod的用户可以在给搜索引擎特地执行一个IP；如127.0.0.1 搞定了；
|
 |
miaoJan 17, 2015
11
好吧. 我的网站巴不得天天爬虫来爬
|
 |
mornlightJan 17, 2015
12
robots 有个缓存期，如果需要立马有效的话，nginx里屏蔽UA
|
 |
enjoyzhouJan 18, 2015
13
只是减少服务器压力，可以通过搜索引擎站长平台调整抓取频率，无需全部禁止的
|
 |
ctsedJan 18, 2015
14
http://zhanzhang.baidu.com/pressure/index # 站点管理 > 抓取频次
https://www.google.com/webmasters/tools/settings # 网站设置 > 抓取速度 |
 |
kimmykuangJan 20, 2015
15
国内很多spider是不遵守robots协议的，比如360，明着不要脸的，我们现在采用的方法还是用go实现了一套逻辑去分析用户行为，最终还是为了去ban spider ip，结合着fail2ban使用
|
Select Language