比如我要爬取的网站是 https://xxx.com,在 log 信息中看到得到的网页有很多 https://xxx.com?mdtp=30&p=8+++++++++++++++++++ 而且+号是不断的增加的,网站返回的是同一个页面。使用 linkExtractor 去过滤吗?
比如我要爬取的网站是 https://xxx.com,在 log 信息中看到得到的网页有很多 https://xxx.com?mdtp=30&p=8+++++++++++++++++++ 而且+号是不断的增加的,网站返回的是同一个页面。使用 linkExtractor 去过滤吗?
|
prasantaJun 2, 2017
1
把它处理掉
|
|
KeepProJun 2, 2017 via Android
2
这说明人家并不想让你爬
|
|
3
啥网站啊,这么溜,这个反爬虫机制真 low
|
|
4
@734506700qq 高校的,哈哈
|
|
cranelee13Jun 2, 2017 via iPhone
5
用正则过滤链接吧,很好解决。
|