dalieba
V2EX  ›  V2EX

能不能拦截 Internet Archive 的数据请求?

  •  
  •   dalieba · Jan 28, 2019 · 4805 views
    This topic created in 2851 days ago, the information mentioned may be changed or developed.
    不知道有没有可能在 V 站的 robots.txt 加一条规则,从而排除来自这个网站的爬虫。
    6 replies  •  2019-01-29 04:10:39 +08:00
    wjm2038
    wjm2038
    Jan 28, 2019 via Android
    1
    /t/531025
    你俩可以唠唠嗑
    dalieba
    dalieba
    OP
    Jan 28, 2019
    2
    有情 @Livid
    Tink
    Tink
    Jan 28, 2019 via iPhone
    3
    这是有啥讲究么?屏蔽这个网站
    ryd994
    ryd994
    Jan 29, 2019 via Android
    4
    @Tink 估计是有不想留下记录的文章
    然而 robots.txt 只是一种约定俗成,并不是严格规范,不遵守的爬虫多了去了。
    Trumeet
    Trumeet
    Jan 29, 2019 via Android❤️1
    5
    1. 没有意义
    2. 没用
    3. 可以实现
    phy25
    phy25
    Jan 29, 2019 via Android
    6
    对于编辑的限制是为了让大家对发表在 V2EX 的言论更加负责。https://www.v2ex.com/faq
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2570 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 11:39 · PVG 19:39 · LAX 03:39 · JFK 06:39
    ♥ Do have faith in what you're doing.