flkaylor19
V2EX  ›  Local LLM

笔记本 125B 模型 Q4 量化, xHigh256k 调优峰值 64tps。附部署和调优源码

  •  
  •   flkaylor19 · 3 days ago · 917 views

    笔记本:幻 X2025 windows 96G 显存分配 32G RAM 操作模式:增强模式 修了识图,去拒答 配置:q4xs 量化、上下文 256K ,配置如下,96G 显存分配 32GRAM 峰值 64.63TPS 智商类似不降智 opus4.6 https://github.com/xszwow/Strata

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5753 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 06:08 · PVG 14:08 · LAX 23:08 · JFK 02:08
    ♥ Do have faith in what you're doing.