首页 http://blog.ciytan.com/
里面的一篇文章 http://mtpdhpgc.ciytan.com/
仔细看了下,文章都是文不对题的,这是不是传说中的垃圾站?
一篇文章一个域名,他是人工完成的么?
里面的一篇文章 http://mtpdhpgc.ciytan.com/
仔细看了下,文章都是文不对题的,这是不是传说中的垃圾站?
一篇文章一个域名,他是人工完成的么?
|
ETiVFeb 6, 2014 via iPhone
1
泛域名解析
|
|
binuxFeb 6, 2014
2
爬虫的大部分规则是根据域名做的,通过泛域可以绕过这些规则
|
|
dingyaguang117Feb 6, 2014
3
@binux 他这样的让爬虫认为是不同的site,好处是?
|
|
4
为了避免ciytan.com被判垃圾站
|
|
5
@dingyaguang117 比如首页提权,比如单站点收录上限,比如站点抓取配额。不过,对应也会有对应的泛域挖掘策略就是了。
|
|
6
|
|
msg7086Feb 8, 2014
7
@miniwade514 不是重定向。就是简单的URL美化。只不过一般是只重塑URI,而这里是重塑二级域名
|