messi110
V2EX  ›  问与答

有没有开源的 功能比较强大的 可配置的爬虫项目 推荐一下

  •  
  •   messi110 · Apr 21, 2019 · 3007 views
    This topic created in 2754 days ago, the information mentioned may be changed or developed.
    9 replies  •  2019-05-07 17:53:37 +08:00
    andylsr
    andylsr
    Apr 21, 2019 via Android
    1
    scrapy
    messi110
    messi110
    OP
    Apr 21, 2019
    2
    @andylsr 我知道这个 就是想找个有没分装好的带 web 界面的那种 项目 github 上找了一下 没找到很好的
    mywaiting
    mywaiting
    Apr 21, 2019
    3
    pyspider
    agdhole
    agdhole
    Apr 21, 2019 via Android
    4
    基于 scrapy 的可视化 https://github.com/Gerapy/Gerapy
    malagebidi
    malagebidi
    Apr 21, 2019
    5
    Huginn
    huixun
    huixun
    Apr 21, 2019
    6
    hellosoft
    messi110
    messi110
    OP
    Apr 21, 2019
    7
    @malagebidi @mywaiting @agdhole 谢谢 我去看看,
    我的需求可能要配置到列表页详情页啥的估计要自己开发一下
    而且好像 java 比较少 https://github.com/514840279/danyuan-application 试了下这个项目好像有点 bug 文档比较少
    messi110
    messi110
    OP
    Apr 22, 2019
    8
    @huixun 这个说的没有找到。。
    messi110
    messi110
    OP
    May 7, 2019
    9
    在顶一下 看看有没有
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2962 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 12:47 · PVG 20:47 · LAX 04:47 · JFK 07:47
    ♥ Do have faith in what you're doing.