背景是，我们 AI 开发产品，但是到客户现场部署硬件都在人家的无法访问互联网的环境，因为是 AI 写的代码，人在现场排查比较困难，但是可以拿笔记本和那个设备直连。所以想，本地的模型只要能支持看笔记本的代码，以及去环境帮助定位分析问题即可。
现在本地比较强的模型，是哪个呢
 |
drealism18h 7m ago
1
背个那个啥 spark 进去
 |
 |
evan118h 5m ago
2
要根据自己电脑的配置去选能用的模型。
手机热点也不能用吗 |
 |
sentinelK17h 58m ago
5
所以你不能插优盘，你模型哪来呢？
|
 |
6
|
3 |
7
如果你们都到了现场部署才想起来要离线部署, 那先把开发和实施抽一顿吧, 其他事之后再说
顶级自部署模型就是 qwen 3.8 27b 和 deepseek flash v4.1 , 而这也需要大显存 GPU 和高内存, 你们得背着至少 10 万的笔记本去现场才满足速度. 要不然就人力去 debug 吧 |
 |
Haku17h 17m ago
8
rtx spark ，可以跑一个量化的 qwen3.8 flash next ，大概 20-40token/s,上下文 128K
|
 |
9
你这是连个配置都不会看。。。
我建议你加钱买能工智人。。。 |
 |
dnfQzjPBXtWmML17h 9m ago
10
硬件要求最低的就是 strata+qwen 了吧，大内存+N 卡就能凑合跑起来
|
 |
11
@sentinelK 得光盘弄进去
@dnfQzjPBXtWmML 那看来还是 qwen ，一年前也是部署到 qwen ，看来还是这个比较稳，到时候我们试试 @paopjian 对，我也没说清楚，部署不会有啥问题，都是自研的系统直接安装进去的；使用期间会有一些问题，之前都是是人来定位和排查。现在 AI 写代码，人排查费劲了。考虑 qwen 了，27b 估计跑不起来。 |
 |
qiuhang16h 42m ago
12
普通笔记本的话，试试 JetBrains/Mellum2.1-12B ？
|
 |
13
ai max 495 192g 试试
|
 |
YanSeven15h 43m ago
14
招聘一个有能力专门负责驻场事务的高级开发。
|
 |
davidoff56715h 4m ago
15
@vverr 他说的应该是 dgx spark,一般部署的话是 2 台起步，9w 左右能部署 MOE 架构模型
|
 |
16
不行啊 ，感觉要生产力还是得上 qwen 27B ，moe 的话 120B 左右的吧，笔记本没啥性价比啊
|
 |
ezioswj14h 13m ago
17
https://blog.csdn.net/wj305585378/article/details/161239686?spm=1001.2014.3001.5502
看下我的，只要 6-8g 显存就可以跑。我是 USB4 外接的，你们游戏本应该比我这个快多了。 |
 |
wanguorui12311h 49m ago
18
上下文太小了不太行
|
 |
penisulaS11h 37m ago
19
spark-x2.6-4b
|
|
dnfQzjPBXtWmML11h 33m ago
20
@vverr 有独显和大内存一定要试下 strata 这个推理框架，移动端 3060 能跑起来 qwen3.8 flash next 这个 125B/8B 的模型
|
 |
iixy11h 30m ago
21
让客户换个古法编程的公司。
|
 |
a021007711h 28m ago
22
OP 这情况只能加钱买更好的笔记本，起码要跑得动 qwen3.8 27b q4 ，不然准确度不够用起来头疼
|
 |
Sezxy11h 9m ago
24
qwen3.8-27b 或者 qwen3.8-flash-next
|
 |
hengtu20126h 43m ago
25
代码已经这么廉价了嘛
|
 |
nomansky5h 51m ago via iPhone
26
教你一招。笔记本连手机热点，有线口直连设备。设备配网关指向笔记本有线 IP 并填上 DNS ；笔记本开 IP Forwarding 并配 iptables MASQUERADE 做 NAT 共享，两台机器就能一起连公网
|
Select Language