yangguang31466
V2EX  ›  问与答

用 python 爬取 什么值得买网站 返回 403,爬其他网站的时候返回 200,这个是怎么回事?

  •  
  •   yangguang31466 · Apr 20, 2015 · 5188 views
    This topic created in 4226 days ago, the information mentioned may be changed or developed.

    代码请求头里面加了user-agent,请求其他网站没有问题!

    9 replies  •  2015-04-27 16:49:52 +08:00
    yangguang31466
    yangguang31466
    OP
    Apr 20, 2015
    1
    被服务器拒绝了,怎么才能解决这个问题?
    NewYear
    NewYear
    Apr 20, 2015
    2
    这个站长好像也是V2的人……
    Tink
    Tink
    Apr 20, 2015 via iPhone
    3
    从rss试试
    learnshare
    learnshare
    Apr 20, 2015
    4
    防爬虫做的不错
    wibile
    wibile
    Apr 20, 2015
    5
    可以啊,试了试没问题的,加上cookie就行了。另外好像都是奇数的帖子,如667459,667409,667387
    jas0ndyq
    jas0ndyq
    Apr 20, 2015 via iPhone
    6
    没伪装成浏览器?
    binux
    binux
    Apr 20, 2015
    7
    现在张大妈的反爬虫做得不错,用了一个和 IP 相关的,需要执行 JS 生成的 cookie 来验证。
    kchum
    kchum
    Apr 20, 2015 via iPhone
    8
    Selenium.
    yangguang31466
    yangguang31466
    OP
    Apr 27, 2015
    9
    加上cookie后就可以了!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1095 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 23:36 · PVG 07:36 · LAX 15:36 · JFK 18:36
    ♥ Do have faith in what you're doing.