https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.
感觉这个,加上一些订阅的模型 可以省很多成本啊
https://github.com/Edge0-AI/Edge0 Device-native foundation models: 145B on a laptop, 35B on a phone. Latent MoE, SSD-streamed weights, a router that predicts loads a step ahead. Mac, iPhone, Android, Windows.
感觉这个,加上一些订阅的模型 可以省很多成本啊
|
hanguofu2 days ago via Android
1
好消息!需要多大显卡?
|
|
2
16 到 24 的都可以
当然越高越好 |
|
R1ta2 days ago
3
可以多并行吗?
|
|
sentinelK2 days ago
4
分和 QFN 基本一致,性能也基本一致,参数也差不了多少。
这感觉好迷。不知道推理架构是否和 strata 一致?conversation-cache 怎么处理的?热缓存、温缓存和 strata 的处理有差异吗,我看作者没有仔细陈述。 |
|
jinsongzhaocn1 day ago
5
这就放弃 30,40 系列了
|
|
jinsongzhaocn1 day ago
6
@R1ta 本地部署共享缓存的并发,一样是平均分配大小,也会出现输出截断问题。每并发单独开缓存,按照 pi 默认 10 并发,strata 需要消耗 5GB 以上的显存或内存,llama.cpp 就别想了,需要的显存估计几个 GB 一个并发
|
|
R1ta4h 20m ago
7
没有部署实测啊,如果多并行好用可以部署到生产啊
|
|
8
可以去 twitter 上关注那个发布者,感觉像是中国人
|
|
jiaorong1h 53m ago
9
都是用 AI 搓出来的,没任何技术含量,根本不用试
|