程序是时时抓取一些帖子的浏览量 每 5 分钟抓取一次。
用的是 tornado 框架里面定时的方法
tornado.ioloop.PeriodicCallback(doStart, 60000).start()
每隔十天半个月 这个程序就会出现不会自动抓取了
进程 ps 里还是能看到这个python的进程
中间要是执行出现问题 后面的就不会再抓取数据了 好像程序一直卡住了
刚开始以为是 pycurl 没有设置超时的问题，可是我设置了 还是会有这个问题
不知道有什么原因了....大神们 帮忙看看
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3939 days ago, the information mentioned may be changed or developed.
 |
1
sometimesna1ve Oct 27, 2015
路过帮顶
|
 |
2
22too Oct 27, 2015  1
弄不好就是底层的锅，不过 python 的网站，暂时没有遇到这个问题
|
 |
3
simpx Oct 27, 2015 1
pstack pid
堆栈看看能不能判断出卡在哪儿了 |
 |
4
dai269619118 OP @simpx 学习了 谢谢
|
|
5
22too Oct 27, 2015
之前有朋友做爬虫也遇到了，使用的是线程池，一天重启一次，所以你要你可能需要改变执行策略，比如定时执行之类的。而不是一直进行执行！
|
|
6
dai269619118 OP @22too 是的 就是用线程池 不行只能 crontab
|
|
7
22too Oct 27, 2015
朋友的代码我看了，代码没问题，但是跑到一定时间，就会不动了，也不是挂了。所以最后推荐使用一天一重启， crontab 值得拥有。
|
|
8
dai269619118 OP @22too 只能这样了 谢谢
|
Select Language