osilinka
V2EX  ›  Local LLM

本地部署的大模型 Edge0

  •  
  •   osilinka · 2 days ago · 1434 views

    https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.

    感觉这个,加上一些订阅的模型 可以省很多成本啊

    9 replies  •  2026-11-22 11:48:24 +08:00
    hanguofu
    hanguofu
    2 days ago via Android
    1
    好消息!需要多大显卡?
    osilinka
    osilinka
    OP
    2 days ago
    2
    16 到 24 的都可以
    当然越高越好
    R1ta
    R1ta
    2 days ago
    3
    可以多并行吗?
    sentinelK
    sentinelK
    2 days ago
    4
    分和 QFN 基本一致,性能也基本一致,参数也差不了多少。

    这感觉好迷。不知道推理架构是否和 strata 一致?conversation-cache 怎么处理的?热缓存、温缓存和 strata 的处理有差异吗,我看作者没有仔细陈述。
    jinsongzhaocn
    jinsongzhaocn
    1 day ago
    5
    这就放弃 30,40 系列了
    jinsongzhaocn
    jinsongzhaocn
    1 day ago
    6
    @R1ta 本地部署共享缓存的并发,一样是平均分配大小,也会出现输出截断问题。每并发单独开缓存,按照 pi 默认 10 并发,strata 需要消耗 5GB 以上的显存或内存,llama.cpp 就别想了,需要的显存估计几个 GB 一个并发
    R1ta
    R1ta
    4h 20m ago
    7
    没有部署实测啊,如果多并行好用可以部署到生产啊
    osilinka
    osilinka
    OP
    3h 8m ago
    8
    可以去 twitter 上关注那个发布者,感觉像是中国人
    jiaorong
    jiaorong
    1h 53m ago
    9
    都是用 AI 搓出来的,没任何技术含量,根本不用试
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1871 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 05:42 · PVG 13:42 · LAX 21:42 · JFK 00:42
    ♥ Do have faith in what you're doing.