@Chihaya0824 游戏显卡少 2 倍的 tensor core 性能的 “游戏显卡的 2 倍的 tensor core 性能的” 打错了不好意思

@Gnnbb BF16 over TF32 accumulation 怀疑是有 5090 一样的游戏显卡的非解锁算力，总之就是很慢
pro 卡一般是和同 die 的游戏显卡少 2 倍的 tensor core 性能的

@yiranw09 是，没有 matmul 加速导致的，但是 m5 也并没有解决什么问题，目前只支持 fp16/bf16/int8 的加速，不恰当的例子你可以理解为他停留在 sm80(A100)时代

@yiranw09 不是，Mac 带宽可以的，我说的是 prompt processing 慢，就是你给他大量长文本的时候你要等很久才会开始吐字，以及并发使用的时候会很慢

还有别买 pro 6000D ，一买一个不吱声

别买 mac, PP 拉完了，同理由不推荐 dgx spark/AI max 395 ，除非是愿意等那其实 ok （ 395 问题更大，fp8 都不支持）
正经用就是最低 2 个 pro 6000 或者 4 个多人大 context
如果电够多也可以选择 8 个 5090 的方案也行

@vandort 靠谱，sm80 系列其实就是会有不支持 fp4 的问题，就是没办法跑原版（

@Yadomin 你是天才吗

@Maerd
试一下 https://docs.vllm.ai/en/stable/features/kv_offloading_usage/
我是觉得超过 256K 输出就没那么可用了，所以我一直都管理到 256k 以下（
如果实在是想要再多一点的话可以把 cuda graph 关掉，应该能更多一点

gguf 是这样的，有几点 op 可以试一下，算是在小显存里挣扎的一些经验
1.用 fp8 的 kv cache
2.尝试用 speculative decoding ，就是说你把 MTP 给打开，应该能够让 tps 变高挺多的，后续如果有 dflash 还可能可以提高更多
3.接受质量损失去用 awq 版，但是肯定不会比 fp8 好
都可以试一下，8 个 h20 肯定可以跑的，而且 kvcache 还可以做 tiering ，可以用内存 swap ，变相支持更多用户（一定程度上）

@murongxdb 你是否在找
https://arxiv.org/html/2605.15184v1
前几天才看见这个 paper

不行，这种 cpe 最好还是中兴或者华为之类的，他们信号不是很好，开源也不是很好（以前开，现在好像都不开了

直通到 Windows 虚拟机里在 CDI 截图呗，如果不愿意拆下来的话
@roykingH

Not X but Y 直接判定为 AI slop

原版散热比较差
其他散热据说好一点，但是我只用过原版
反正买一个以上千万不要堆叠摆放，他会降频

@x86 同问，但是没那么大
目前想 28T * 8 了，一段时间内应该是够用了

一眼白嫖，如果 op 非要去做，做完了千万别给代码，建议就是不要做

抛开经历不谈，我觉得目前游戏的状态收获五个心愿单完全符合预期
https://steamdb.info/app/4538870/screenshots/
首先，这个迷一般的宣传视频，我看完了都没弄明白这个游戏的玩法是什么，好吧，那我看看截图
然后突然发现这游戏的所有素材全部都是 AI 生成的，而且是一眼 AI 生成，而且看完了截图还是没懂游戏玩法是什么
但是作为一个普通玩家，我只有一种预感
那就是这个游戏的剧情文本非常有可能也是 AI 生成的

对于这种 AI slop 游戏，大部份游戏作者可能自己都没有完整通关过，游戏机制可能也没搞清楚在做什么
结合下目前的截图，如果但凡是一个正常的玩家，现在脑子里都应该响起 scam alert 了（就是这游戏大概率没有用心做出来骗钱的）
当然我不是说 OP 没有用心做，OP 完全有可能花了非常多时间去打磨这个游戏，但是因为整体没有体现游戏玩法的预告视频+预告视频里没有实际的游戏内容+一眼 AI 的美术素材+不明不白的游戏机制，这些就很容易让别的玩家产生这种刻板印象
如果 OP 真的用心做了这个游戏，这些美术素材至少都要大改，至少要做到看不出来是 AI 生成的程度才行，最好就是请人手绘，如果没办法那也至少要找个会 AI 做美术资源的去帮你改的不那么突兀