公司需要从第三方网站上抓取数据， 但是看网站说，如果抓取频率过高的话，会被屏蔽。
一般大家都怎么处理这样的问题的？
用 http 代理？
还是有其他更好的办法。
一般大家都怎么处理这样的问题的？
用 http 代理？
还是有其他更好的办法。
This topic created in 4048 days ago, the information mentioned may be changed or developed.
 |
xfspaceOct 6, 2015
1
目前好像就代理和降低频率两个方法，楼下的大牛可能知道更多
|
 |
kn007Oct 6, 2015
2
用代理。。
|
 |
3
@kn007 可是去哪里找那么多可用的代理 ip 呀
|
 |
maemualOct 6, 2015
4
@zhizhongzhiwai 要么自己抓，要么上淘宝上买。。。
|
 |
5
|
1 |
kn007Oct 6, 2015
6
@zhizhongzhiwai 写个爬虫抓。具体的自己找。
|
|
7
@kendetrics 像他们这种代理网站的速度如何？ 这些代理稳定吗？ 毕竟我们是公司的产品， 需要非常稳定的代理。
|
|
kendetricsOct 6, 2015
8
@zhizhongzhiwai 要稳定你还是去买多 IP 的 VPS 吧，或者拨号的 VPS 。。
|
 |
crabOct 6, 2015
9
淘宝买个动态 ADSL 拨号的，被屏蔽就拨号下就有新 IP 了。用代理 IP 没什么保证的，就是可以用速度也一般。
|
 |
10
国外 vps 上跑 tor, tor 开 10-20 个端口, tor 本身 10 分钟会换次 ip,
被爬站点有 cdn 的话, 将请求分发不同机器上去. |
Select Language