alangz
V2EX  ›  Local LLM

有一台 16 寸 m1max 64g+1T 满 GPU 的 MacBook Pro 适合部署哪个本地模型

  •  
  •   alangz · Apr 30 · 3066 views
    This topic created in 200 days ago, the information mentioned may be changed or developed.

    配置为 m1max 64g+1T ,最近搞了个小小龙虾,消耗的 token 太快了,打算部署各本地模型,一来了解了解,而来是想做下简单的翻译、文档处理的工作。能有合适的本地模型吗?

    11 replies  •  2026-05-02 09:35:13 +08:00
    zenfsharp
    zenfsharp
    Apr 30
    1
    Gemma4-31b-it-q8_0 ,记得开满 256Context 窗口,也用 Q8 质量压缩。
    huaweii
    huaweii
    Apr 30 via Android
    2
    qwen3.6 系列,你 64gb 的选择挺多的。你去 hf 上把你的型号输入进去让他给你选个合适的压缩模型就行
    xFrye
    xFrye
    Apr 30
    3
    https://ollama.com/blog/mlx 看看这个合适不
    sentinelK
    sentinelK
    Apr 30
    4
    mlx 的 qwen3.6-35B-A3B 试试看
    alangz
    alangz
    OP
    Apr 30
    5
    @zenfsharp 好的,我试试
    @huaweii 多谢,我去研究。
    @xFrye 我试试看,多谢
    @sentinelK 我看下,多谢
    rrubick
    rrubick
    Apr 30 via iPhone
    6
    用 LM sutio ,它会根据你的内存大小标记合适的模型。注意由于模型需要常驻内存,不要卡着上限
    rrubick
    rrubick
    Apr 30 via iPhone
    7
    @rrubick
    typo:LM sutio —> LM Studio
    ahdw
    ahdw
    Apr 30
    9
    建议看看 oMLX 的社区评测,不要用 llama.cpp ,浪费苹果硬件
    alangz
    alangz
    OP
    Apr 30
    10
    @rrubick 好的,感谢
    @diudiuu 这个确实更方便些,多谢
    @ahdw 我去看看
    davidqw
    davidqw
    May 2 via iPhone
    11
    gemma4
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4666 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 01:16 · PVG 09:16 · LAX 17:16 · JFK 20:16
    ♥ Do have faith in what you're doing.