RT,为了不给被抓页面造成太大压力或者说为了规避429 error,最合理的做法是什么呢?
几乎没怎么用过多线程,到处搜索没有找到看起来比较好的写法,求教。
RT,为了不给被抓页面造成太大压力或者说为了规避429 error,最合理的做法是什么呢?
几乎没怎么用过多线程,到处搜索没有找到看起来比较好的写法,求教。
|
gateswongFeb 3, 2015
1
http://bitbucket.gatesice.com/iit-cs579-project/src/f32486eb41571533d881a6a4d63fe97b10706c83/collector/timing.py?at=master
在这个基础上增加一个count统计这个时间段内访问了多少次就好了 |
|
KentYFeb 3, 2015 via Android
2
这个要看人家服务器是怎么制定的ban规则吧,你的单位时间得在人家范围内。
我也曾有这个麻烦,后来去抓代理,built个代理池,先凑合顶着 |
|
mengskysamaFeb 3, 2015
3
goagent
|
|
ryd994Feb 3, 2015 via Android
4
每个请求后加一个延时,然后反过来换算频率
|
|
5
|
|
7
@gateswong 其实不加count都行,我觉得只要有一个统一的manager来负责发请求,直接在manager里面限制就行了,可是不知道怎么在多线程情况下实现
|
|
mengskysamaFeb 3, 2015
9
@snachx 令牌桶,啊实现十来行代码?
|
|
zhweiFeb 3, 2015 via iPad
10
Redis
|
|
clinoFeb 3, 2015 via Android
11
线程池?
|
|
12
count 加个锁
每次请求 count + 1 使 count 加到限制次数的线程进行延时,不释放锁 其它线程因为阻塞就一起延时了 延时线程延时结束后 count 置 0,释放锁 |
|
jecrdhsFeb 3, 2015
13
抓网页是指下载页面中的某些信息还是全部?
|
|
ffffwhFeb 3, 2015
14
“非计算密集的任务不要另开线程”。
单线程抓网页,这样控制请求频率很容易了。然后异步处理结果。 |
|
ShiehShiehFeb 3, 2015
16
可以试试使用协程代替线程,都能解决IO阻塞问题,而且理论上协程的内核开销更小。
Gevent,一个基于协程的网络库。 |