推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
snachx
V2EX  ›  Python

python 多线程用 requests 抓网页的话,限制单位时间的总请求数有没有什么好的写法呢?

  •  
  •   snachx ·
    snachx · Feb 3, 2015 · 8085 views
    This topic created in 4306 days ago, the information mentioned may be changed or developed.

    RT,为了不给被抓页面造成太大压力或者说为了规避429 error,最合理的做法是什么呢?
    几乎没怎么用过多线程,到处搜索没有找到看起来比较好的写法,求教。

    21 replies  •  2015-03-03 00:22:14 +08:00
    gateswong
    gateswong
    Feb 3, 2015
    1
    http://bitbucket.gatesice.com/iit-cs579-project/src/f32486eb41571533d881a6a4d63fe97b10706c83/collector/timing.py?at=master

    在这个基础上增加一个count统计这个时间段内访问了多少次就好了
    KentY
    KentY
    Feb 3, 2015 via Android
    2
    这个要看人家服务器是怎么制定的ban规则吧,你的单位时间得在人家范围内。

    我也曾有这个麻烦,后来去抓代理,built个代理池,先凑合顶着
    mengskysama
    mengskysama
    Feb 3, 2015
    3
    goagent
    ryd994
    ryd994
    Feb 3, 2015 via Android
    4
    每个请求后加一个延时,然后反过来换算频率
    snachx
    snachx
    OP
    Feb 3, 2015 via Android
    5
    @KentY
    @mengskysama

    我是想知道自己主动遵守限制具体应该怎么做,而不是说怎么绕过限制
    snachx
    snachx
    OP
    Feb 3, 2015 via Android
    6
    @ryd994 每个请求加延时感觉只在单线程情况下有效吧?
    snachx
    snachx
    OP
    Feb 3, 2015 via Android
    7
    @gateswong 其实不加count都行,我觉得只要有一个统一的manager来负责发请求,直接在manager里面限制就行了,可是不知道怎么在多线程情况下实现
    ryd994
    ryd994
    Feb 3, 2015 via Android
    8
    @snachx 多线程也可以啊,只要你线程数有限制。
    平均一下差不多
    mengskysama
    mengskysama
    Feb 3, 2015
    9
    @snachx 令牌桶,啊实现十来行代码?
    zhwei
    zhwei
    Feb 3, 2015 via iPad
    10
    Redis
    clino
    clino
    Feb 3, 2015 via Android
    11
    线程池?
    Sylv
    Sylv
    Feb 3, 2015 via iPhone❤️1
    12
    count 加个锁
    每次请求 count + 1
    使 count 加到限制次数的线程进行延时,不释放锁
    其它线程因为阻塞就一起延时了
    延时线程延时结束后 count 置 0,释放锁
    jecrdhs
    jecrdhs
    Feb 3, 2015
    13
    抓网页是指下载页面中的某些信息还是全部?
    ffffwh
    ffffwh
    Feb 3, 2015
    14
    “非计算密集的任务不要另开线程”。
    单线程抓网页,这样控制请求频率很容易了。然后异步处理结果。
    snachx
    snachx
    OP
    Feb 3, 2015
    15
    @jecrdhs 提取部分信息
    ShiehShieh
    ShiehShieh
    Feb 3, 2015
    16
    可以试试使用协程代替线程,都能解决IO阻塞问题,而且理论上协程的内核开销更小。
    Gevent,一个基于协程的网络库。
    snachx
    snachx
    OP
    Feb 3, 2015
    17
    @clino 线程池只能控制同时请求的数量吧,如果每个线程非抓取任务的处理很快,还是会超。
    clino
    clino
    Feb 3, 2015
    18
    @snachx 要不就用一个网站一个线程的做法好了,这样线程这里可以自己控制频度如果频度太高就自己sleep下,如果怕开太多线程开销太大可以改用协程,开大量协程的开销比线程小很多
    snachx
    snachx
    OP
    Feb 3, 2015
    19
    @Sylv 你说的这样好像可以,我去试一下
    gateswong
    gateswong
    Feb 4, 2015
    20
    @snachx 用multiprocessing

    这个库里的Manager可以创建进程间的共享变量
    tolerious
    tolerious
    Mar 3, 2015 via iPhone
    21
    @zhwei 具体?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2100 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 49ms · UTC 14:49 · PVG 22:49 · LAX 06:49 · JFK 09:49
    ♥ Do have faith in what you're doing.