JhOOOn
V2EX  ›  问与答

爬取优酷上的数据,在网页源码中没有,有办法爬取到吗?

  •  
  •   JhOOOn · Sep 21, 2015 · 3905 views
    This topic created in 4063 days ago, the information mentioned may be changed or developed.

    待抓取的内容这个是需要抓取的内容

    网页源代码这个是在网页源码中看到的内容,但是没有数据

    审查元素
    但是通过浏览器的审查元素功能能看到数据。

    请问通过什么方法可以获得数据?
    这个是网页的链接: http://v.youku.com/v_show/id_XMTI1ODc5MjU2NA==.html?from=s1.8-1-1.1#comment
    谢谢

    14 replies  •  2015-09-22 16:29:10 +08:00
    cyberdak
    cyberdak
    Sep 21, 2015
    1
    js 加载出来的数据
    只能找 js 的加载数据了
    Tink
    Tink
    Sep 21, 2015
    2
    优酷不是有 api 吗??
    JhOOOn
    JhOOOn
    OP
    Sep 21, 2015
    4
    @cyberdak 请问如何找 js 加载的数据?
    JhOOOn
    JhOOOn
    OP
    Sep 21, 2015
    5
    @Tink 谢谢,想试着爬虫抓取,有没有好方法。
    gongpeione
    gongpeione
    Sep 21, 2015
    6
    看看 PhantomJS
    JhOOOn
    JhOOOn
    OP
    Sep 21, 2015
    7
    @gongpeione 谢谢,对 js 不是很懂,有思路就好办了。
    jadecoder
    jadecoder
    Sep 21, 2015
    8
    最简单的办法是找到那个 ajax 请求,可以抓 http 包。例如播放数应该是这个

    http://v.youku.com/QVideo/~ajax/getVideoPlayInfo?__rt=1&__ro=&id=314698141&sid=299011&type=vv&catid=97

    但是量大了之后会触发反爬虫机制,那就是另外一个课题了
    gamexg
    gamexg
    Sep 21, 2015
    9
    F12 网络, F5 刷新,里面总有一个有数据。
    lxy
    lxy
    Sep 21, 2015
    10
    在审查元素的 Network 标签下开启 Filter ,查看 XHR 下的 Preview 或 Response 内容,一般有对应数据的就是了。
    LINAICAI
    LINAICAI
    Sep 21, 2015
    11
    优酷开放平台有啊。
    em70
    em70
    Sep 21, 2015 via Android
    12
    嗅探接口去,看接口规则,用页面里的数据去向接口请求
    jadecoder
    jadecoder
    Sep 22, 2015
    14
    @JhOOOn PhantomJS 的性能问题极其严重
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2721 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 45ms · UTC 13:20 · PVG 21:20 · LAX 05:20 · JFK 08:20
    ♥ Do have faith in what you're doing.