继续问关于 scrapy 的爬虫的小问题

推荐学习书目

› Learn Python the Hard Way

Python Sites

› PyPI - Python Package Index

› Pocoo

值得关注的项目

› PyPy

› pyenv

Python 编程

› pep8 Checker

Styles

› PEP 8

This topic created in 3411 days ago, the information mentioned may be changed or developed.

同样的脚本爬同样的目标站

服务器 A 配置 AMD4 核 Opteron 1381 SATA 22TB+750G4 我键了一个 6TB 的 POOL

服务器 B 配置 ATOM CZ2750 128G SSD

目标站挂载在 CF 上差不多都在 10ms 以内

服务器 A 开始爬还可以跑在 20~30M 大约爬了几分钟以后变成 5mbps 左右

服务器 B 爬取速度不但快而且下载的时候都可以保持 100M 的速度。

我想知道服务器 A 的 delay 是在哪里。有没有办法优化

服务器 A 的下载速度就是一个图片一个图片以肉眼的速度下载

服务器 B 的下载速度就是刷刷刷的那种。

是否是 SSD 的问题？

1 replies

xiaoyu9527

May 29, 2017

SATA 和 SSD 的写入差距这么大？