Auston

现在像 7B/13B 这类大模型,推理加速用的什么框架?

  •  
  •   Auston · Oct 11, 2023 · 3073 views
    This topic created in 1137 days ago, the information mentioned may be changed or developed.

    有专门做这块落地的大佬吗?

    6 replies  •  2023-10-11 15:03:10 +08:00
    Attenton
    Attenton
    Oct 11, 2023
    1
    感觉框架倒是其次的吧,主要还是算力和一些推理优化技术吧
    datoujiejie221
    datoujiejie221
    Oct 11, 2023
    2
    可以看下 lightllm 这个项目,部署还是比较简单,项目最后也列举了一些现有框架可以参考一下:
    Faster Transformer
    Text Generation Inference
    vLLM
    Flash Attention 1&2
    OpenAI Triton
    uriel2333
    uriel2333
    Oct 11, 2023
    3
    在用 vllm 跑 qwen-7b ,当然只是跑起来了,也没有太多研究
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    Oct 11, 2023
    4
    llama.cpp
    Auston
    Auston
    OP
    Oct 11, 2023
    5
    @uriel2333 看了一下介绍,感觉挺牛的
    Auston
    Auston
    OP
    Oct 11, 2023
    6
    @Attenton 主要是借助推理框架的优化技术,自己实现不了那些技术
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1985 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 07:49 · PVG 15:49 · LAX 23:49 · JFK 02:49
    ♥ Do have faith in what you're doing.