有专门做这块落地的大佬吗?
有专门做这块落地的大佬吗?
|
AttentonOct 11, 2023
1
感觉框架倒是其次的吧,主要还是算力和一些推理优化技术吧
|
|
datoujiejie221Oct 11, 2023
2
可以看下 lightllm 这个项目,部署还是比较简单,项目最后也列举了一些现有框架可以参考一下:
Faster Transformer Text Generation Inference vLLM Flash Attention 1&2 OpenAI Triton |
|
uriel2333Oct 11, 2023
3
在用 vllm 跑 qwen-7b ,当然只是跑起来了,也没有太多研究
|
|
F281M6Dh8DXpD1g2Oct 11, 2023
4
llama.cpp
|