爱意满满的作品展示区。
thans

AnyCrawl: 基于 TS 的高性能爬虫,用于将任意 Web 转为干净的数据喂给 Agent

  •  
  •   thans ·
    PRO
    · 4 days ago · 1135 views

    求 Star:https://github.com/any4ai/AnyCrawl

    主打这些功能:

    1. 搜索引擎抓取:支持多个搜索引擎,批量操作友好
    2. 网页内容提取:精准抓取单页内容
    3. 整站爬取:完整遍历采集网站内容
    4. 性能强劲:支持多线程/多进程
    5. 批量任务:稳定高效处理海量任务
    6. AI 智能解析:用大语言模型( LLM )从网页提取结构化数据( JSON 格式)
    7. 完美适配 LLM:集成简单,开箱即用
    2 replies    2026-08-06 11:46:20 +08:00
    YAFEIML
        1
    YAFEIML  
       4 days ago
    star 支持
    thans
        2
    thans  
    OP
    PRO
       3 days ago
    @YAFEIML 感谢!
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   5803 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: f75fff0a · 26ms · UTC 02:27 · PVG 10:27 · LAX 19:27 · JFK 22:27
    ♥ Do have faith in what you're doing.