spikedingo
V2EX  ›  Local LLM

想上手本地 llm,m3max 128gb 内存有没有什么适合和推荐的玩法?

  •  
  •   spikedingo · 1 day ago · 1332 views

    如题,请各位大佬推荐推荐,测一测日常的编程任务、以及跑一跑本地模型的推理、分析等任务

    可能也会玩一玩生图

    7 replies  •  2026-11-16 20:47:03 +08:00
    awah
    awah
    1 day ago
    1
    同款, 目前是用 mtplx 跑 qwen3.8-next, 大概 50 tps. 但是真干活还是 Codex 快一点, 本地 pre fill 不行
    hackyuan
    hackyuan
    1 day ago
    2
    推广下自己的项目 https://github.com/useLexora/Lexora ,目前已经支持本地模型的部署和直接使用了。
    clemente
    clemente
    17h 23m ago
    3
    还得再买一个才行 pd 分离
    gorvey
    gorvey
    16h 55m ago
    4
    算了吧,跑起来能耗巨大,比玩 3a 游戏还吵还烫。笔记本就别凑热闹了
    gorvey
    gorvey
    16h 53m ago
    5
    @gorvey #4 离电跑 1 分钟掉 1 格电,1 小时从满电到关机
    phoenine
    phoenine
    11h 21m ago
    6
    m3max 128gb 可以做短视频自嗨了,拿自己当主角,然后可以开各种不审核的模型。。。还可以接单,私人定制短视频。
    spikedingo
    spikedingo
    OP
    6h 45m ago
    7
    @phoenine 请问有没有什么关键词呢
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   978 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 19:32 · PVG 03:32 · LAX 11:32 · JFK 14:32
    ♥ Do have faith in what you're doing.