爬虫这种需求,不作为 server,不需要公网端口,流量少,占用空间小,资源耗费也不高,但是需要一直在线。
vps 的话,总觉得有点奢侈。一般 vps 会配备公网 ip,这是 vps 最核心的资源,但恰恰是爬虫所不需要的。
vps 的话,总觉得有点奢侈。一般 vps 会配备公网 ip,这是 vps 最核心的资源,但恰恰是爬虫所不需要的。
|
eluotaoSep 2, 2018
1
一个 VPS 一个月 10 元 奢侈吗?
用词不当. |
|
nicevarSep 2, 2018
2
一部老掉牙的破手机就行了
|
|
lihongjie0209Sep 2, 2018
3
那你一个 VPS 多部署几个爬虫不就好了. 而且不需要 IP? 你怎么部署你的爬虫, 怎么管理, 怎么监控?
|
|
4
@eluotao 奢侈是相对而言的,10 元的 vps 能建站,拿来托管个 client 程序,大炮打蚊子。每月 10 元人民币的话还可以考虑(但爬国内我不如用路由器(或者楼上的旧手机也是不错的建议)),每月 10 刀就真的算了。以爬虫的资源消耗量(低流量低带宽低占用无需公网 ip ),每月 1 刀我觉得还差不多。但是每月 1 刀的 vps 又很差,毕竟它还需要支持 vps 的全部功能,所以必定会在配置上缩水,cpu 和内存都不一定能跑得起来爬虫。
如果能有选配公网 ip (即可以不配备),流量带宽容量按量支付的容器服务,是最理想的选择。 |
|
newworldSep 2, 2018 via iPhone
5
你需要 vps 可以同时爬取大量的代理 ip 用作代理池子
|
|
NitroethaneSep 2, 2018 via Android
6
自己的电脑长时间运行不就行了
|
|
7
@lihongjie0209 爬到指定内容发邮件通知的那种。
不是所有的程序托管都需要 ip 的,这是先入为主把 vps 当作这个问题的唯一答案,vps 当然必定是有公网 ip 的。但云计算平台不止是 vps 这一种形式。比如 web 程序托管的各种 app engine,就没有 ip (但提供了公网映射,毕竟是 server 程序),而是以 web 控制台代替。我这种需求比 app engine 更轻量,其实我就是想问问有没有更轻量(同时也更廉价)的解决方案。 |
|
nyaapassSep 2, 2018
8
好奇为啥自己的手机、电脑不能爬外网 404 网站...
|
|
9
@nyaapass 我工作环境提供出国,所以没有自己买 vps 搭$$。但是公司的网络接入有身份认证和物理限制。所以我无法将未授权设备接入。
(如果我有正在用的 vps,就没必要来提这个问题了。) |
|
yov123456Sep 2, 2018 via iPhone
10
docker 云吧
|
|
tworSep 2, 2018
11
无脑回复 搬瓦工,一年 9.9 美元
|
|
someonedengSep 3, 2018
12
搬瓦工+1,爬虫可以扒拉 404,价格还行,跑小东西性能够了。
|
|
iovenSep 3, 2018
13
垃圾 vps 搭建酸酸乳,爬虫放在本地跑
|
|
SorcererXWSep 3, 2018 via Android
14
@CrazyBoyFeng vps 上就仅仅跑个爬虫,是大炮打蚊子。但是未来你还可以跑其他很多东西啊。
|
|
wuzhi1234Sep 3, 2018
15
这么扣扣索索精打细算的,应该攒了不少钱吧
|
|
neezerSep 3, 2018
16
每个月 10 刀的 vps, 这不正是我 vultr 上的机器配置么。
这个配置,你不觉得低么。。。 都 2018 年了,我还经常给我老大灌输:让人累不如让机器累的思想。。。 你买个配置高点的 vps,远比用配置低的东西轻松,代码“粗犷”点没关系,有点内存泄露没关系,想学多进程 /线程能试试。 你用手机整爬虫,能干嘛? |
|
kljsandjbSep 4, 2018 via iPhone
17
serverless
|
|
aruSep 4, 2018
18
linode /digitalocean 这些 vps 提供商都提供按分钟(或者小时)收费的服务,可以通过 api 来开通、部署、删除机器
|
|
fancyhanSep 6, 2018
19
vultr 开动态实例,ip 封了就切
|
|
aubucuoSep 12, 2018
20
aws lambda
|