自己在 x86 + nVidia 平台上面，搭建一个 deepseek ，真是怎么快怎么来，舒服一个字。
在公司华为的昇腾 arm + npu 平台搭建一个 mindie 推理框架，居然让我有种想转行的挫败感，搞死我了（哭。
This topic created in 624 days ago, the information mentioned may be changed or developed.
Supplement 1 · Feb 22, 2025
ollama 不支持，行，这个本来只适合科研或者原型开发，不适合大规模商用。
vllm ，适配了，但限定少数型号，公司花大价钱买的型号不在支持范围。
那就剩下那个什么 mindie 支持部署 deepseek 蒸馏模型，一看那个文档，我勒个去，从业多年我是没见过这么复杂的部署方式，还要用一大坨一大坨 python 代码验证。
vllm ，适配了，但限定少数型号，公司花大价钱买的型号不在支持范围。
那就剩下那个什么 mindie 支持部署 deepseek 蒸馏模型，一看那个文档，我勒个去，从业多年我是没见过这么复杂的部署方式，还要用一大坨一大坨 python 代码验证。
Supplement 2 · Feb 22, 2025
厂家派了个运维工程师搞了一天过来支援都部署不成功，跑大模型还会死机，哈哈，哈哈（哭😭
 |
zqqianFeb 22, 2025
1
学会克服在别的地方不存在的困难
 |
 |
cyp0633Feb 22, 2025
2
恐怕昇腾在一众信创方案里已经算简单的了，华为还是真想拿来卖钱的
|
 |
frankiesFeb 22, 2025
3
搞信创就这样，平白无故增加毫无意义的工作量，不过习惯就好啦，又不是不给工资😂
|
 |
mumblerFeb 22, 2025
4
你会在昇腾上搭建 deepseek ，你知道这个技能值多少钱吗？帮一个公司搭一套收 10 万一点都不多
|
 |
zhaoxj58Feb 22, 2025
5
老哥，真有这么值钱？
|
 |
darkingwalkerFeb 24, 2025
6
我在海光平台上跑起来了 ollama+deepseek ，但是跑起来之后的问题也很多，现在做这块儿内容的感觉就是资料很少、问题很多、还没啥人能交流
|
 |
mmdsunFeb 24, 2025 via iPhone
7
华为不是有个超融合一体机么 最近适配了 Deepseek 模型 试试那个
|
Select Language