xiaoyu9527
V2EX  ›  问与答

scrapy 的 xpath 真的好难学呀。 有啥办法能更好的学习么?

  •  
  •   xiaoyu9527 · Jul 26, 2016 · 3707 views
    This topic created in 3770 days ago, the information mentioned may be changed or developed.

    心好累

    22 replies  •  2016-07-27 10:22:42 +08:00
    upczww
    upczww
    Jul 26, 2016 via Smartisan T1
    1
    xpath 文档全部看一遍
    BOYPT
    BOYPT
    Jul 26, 2016
    2
    可以用 pyquery 重新实现 spyder 的啊
    https://gist.github.com/joehillen/795180
    mrytsr
    mrytsr
    Jul 26, 2016 via Android
    3
    mrytsr
    mrytsr
    Jul 26, 2016 via Android
    4
    exoticknight
    exoticknight
    Jul 26, 2016
    6
    可以用 css 的
    真的很难学吗?经常用的不就是几种?
    imn1
    imn1
    Jul 26, 2016
    7
    xpath 起码比正则简单多了
    wmttom
    wmttom
    Jul 26, 2016
    9
    pyquery +1
    halmstad
    halmstad
    Jul 26, 2016
    10
    可以用浏览器插件来验证 xpath
    zjuster
    zjuster
    Jul 26, 2016
    11
    @mrytsr 这个都是绝对路径的,很多情况不准的...
    xss
    xss
    Jul 26, 2016
    12
    firebug 插件,在 html 标签,右键,复制 xpath.....
    feather12315
    feather12315
    Jul 26, 2016 via Android
    13
    XPath / CSS selector / re
    仨轮着用。
    XPath 写不出来用 CSS selector ,
    还不行用 re ,别绑在一条船上。大多数时候, XPath 难写, CSS selector 却很好写
    wuhaoworld
    wuhaoworld
    Jul 26, 2016
    14
    我也觉得, scrapy 的 XPath 和标准格式不一样, Chrome 复制出来的还不能直接用,真的很蛋疼
    xiaoyu9527
    xiaoyu9527
    OP
    Jul 26, 2016
    15
    @feather12315

    我用的就是 CHROME 弄 XPATH 但是调试起来很头大
    dexterzzz
    dexterzzz
    Jul 26, 2016
    16
    CSS selector 很清晰明了.
    Allianzcortex
    Allianzcortex
    Jul 26, 2016
    17
    Chrome extension:XPath Helper;不过仍然难用...所以还是一起去喝汤...BeautifulSoup...
    ming2050
    ming2050
    Jul 26, 2016 via Android
    18
    这东西貌似不用学
    Suclogger
    Suclogger
    Jul 26, 2016
    19
    chrome 和 firefox 都有对应的工具

    suclogger.tech/2016/05/17/从 webmagic 着手浅析 JAVA 爬虫 /
    Suclogger
    Suclogger
    Jul 26, 2016
    20
    @Suclogger

    http://suclogger.tech/2016/05/17/从 webmagic 着手浅析 JAVA 爬虫 /
    haofly
    haofly
    Jul 27, 2016
    21
    scrapy 也可以用 js 的选择器呀
    xiaoyu9527
    xiaoyu9527
    OP
    Jul 27, 2016
    22
    @haofly 有没有这部分教程?
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2036 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 55ms · UTC 05:49 · PVG 13:49 · LAX 21:49 · JFK 00:49
    ♥ Do have faith in what you're doing.