WinkeyLin
V2EX  ›  OpenAI

高频低延迟的小模型选型求教

  •  
  •   WinkeyLin · Dec 5, 2025 · 1460 views
    This topic created in 350 days ago, the information mentioned may be changed or developed.

    我正在开发一个消息转发服务,每天大概在 500 条消息左右,每条消息在 500 字符内。我想调用一个小模型来实现文本翻译和简单的内容审核过滤功能,并用 JSON 格式输出处理结果,System Prompt 大概在 1100 Tokens ,请问各位 V 友目前的最佳选择是什么? 国内外模型均可,目前尝试了 Qwen2.5 的 7B 和 14B 模型,感觉差强人意。

    xjzshttps
    xjzshttps
    Dec 6, 2025
    1
    github 有反向免费版网页版本的 api ,
    这个量可以试试。
    zizon
    zizon
    Dec 6, 2025
    2
    学习 deepseek 最新思路,拆小.
    不要想着一个调用/prompt 解决一切.
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1984 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:58 · PVG 15:58 · LAX 23:58 · JFK 02:58
    ♥ Do have faith in what you're doing.