ts
V2EX  ›  问与答

如何抓取需要登录的整站点

  •  
  •   ts · Nov 9, 2015 · 1893 views
    This topic created in 4031 days ago, the information mentioned may be changed or developed.

    网站建在 amazonaws 里
    但是需要登录, 这种情况如何抓取整个站点?

    6 replies  •  2015-11-09 19:35:01 +08:00
    zivfun
    zivfun
    Nov 9, 2015
    1
    post 登录数据,有验证码肉身登录后提取 cookie
    ts
    ts
    OP
    Nov 9, 2015
    2
    @zivfun 有详细点的说明吗 ..............
    ts
    ts
    OP
    Nov 9, 2015
    3
    @ts 小白一个啊
    bdbai
    bdbai
    Nov 9, 2015 via iPhone
    4
    去读读 HTTP 。
    ts
    ts
    OP
    Nov 9, 2015
    5
    @bdbai @zivfun


    大神求解
    bdbai
    bdbai
    Nov 9, 2015 via iPhone
    6
    @ts (假设你有能力抓取整站)
    一般的登录检查都是靠 Cookie ,因此你可以用浏览器登录并获得用于认证的 Cookie ,将它交给爬虫即可。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   835 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 20:49 · PVG 04:49 · LAX 12:49 · JFK 15:49
    ♥ Do have faith in what you're doing.