g0147456g's recent timeline updates g0147456g's recent timeline updates |
g0147456gV2EX member #665227, joined on 2023-11-30 19:10:16 +08:00 |
g0147456g's recent replies
Jun 28, 2024 Replied to a topic by leeum › Local LLM › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？ |
4090 估计是完全不行。4bit 量化下仍然需要 40+GB 的显存，而 4090 不支持 nvlink ，难以多卡并行
Select Language