V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  Yserver  ›  全部回复第 1 页 / 共 13 页
回复总数  253
1  2  3  4  5  6  7  8  9  10 ... 13  
12 小时 29 分钟前
回复了 debugger 创建的主题 程序员 每个月阿里云 CDT 流量费太贵了, 大家有啥好的办法吗
@justseemore #11 共享流量包和 cdt(云数据传输)都可以在框架合同内打折的
阿里 cdt 一般是 6 折左右吧 这个 bug 就不熟悉了
3 天前
回复了 ndd200 创建的主题 程序员 阿里云百炼的用户都不会质疑价格的吗?
@Mandelo #7 别扯了 阿里的文档价格写的很清楚 而且拿 ds 的分词器不就能验证用量了吗?
要播长能兼容的 pon 才可以吧
19 天前
回复了 TonyLab 创建的主题 宽带症候群 成都电信专线体验有感
能分享下联通客户经理的联系方式吗
没发现 我是旧的 30Mbps 轻量 你这种大概率是阿里限速了吧
8 月 22 日
回复了 Yserver 创建的主题 Claude [急]大量收 Claude 官 key
@nfksuk #1 可能是
@fengyaochen #14 pve 里面装 ros 会让拓扑图变得很乱 我感觉服务还是不少的
阿里的忙时比官网会长很多 不过阿里可以做折扣
好复杂的架构 专业!
测了一下 dflash 上下文不够长了
单卡 NVIDIA RTX 5880 Ada bench_one_batch_server
`--mamba-full-memory-ratio 0.5 --mem-fraction-static 0.94`(并发 3 / 上下文 17.3 万 token)

## 单批矩阵(并发 1/2/3)

| batch | 输入长度 | Prefill 吞吐 (tok/s) | Decode 吞吐 (tok/s, 聚合) | Decode 单步时延 |
|---|---|---|---|---|
| 1 | 1024 | 3,341 | 76.8 | 13.0 ms |
| 1 | 4096 | 3,380 | 81.4 | 12.3 ms |
| 2 | 1024 | 3,442 | 159.3 | 12.7 ms |
| 2 | 4096 | 3,320 | 204.3 | 9.7 ms |
| 3 | 1024 | 3,451 | 187.1 | 16.1 ms |
| 3 | 4096 | 2,934 | 493.0 | 6.1 ms |
还比较便宜了
@zhaoziling #44 H3 我 48g 的跑 fp8 都好慢
我看到 sglang 好像是可以使用 dspark 的 --speculative-algorithm DSPARK 这个应该也会对性能有较大提升吧
8 月 18 日
回复了 realpg 创建的主题 程序员 今日份的阿里不带云笑话。。踩坑进行时。。
@viweei #41 阿里云的费用我觉得还是不会出问题的...他们的计费还是挺详细的
8 月 18 日
回复了 realpg 创建的主题 程序员 今日份的阿里不带云笑话。。踩坑进行时。。
太 amazing 了
@qwvy2g #8 pon 我记得也有加密的 就算是没加密 那么让光猫收不属于他的包也有点麻烦
1  2  3  4  5  6  7  8  9  10 ... 13  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1122 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 23:04 · PVG 07:04 · LAX 16:04 · JFK 19:04
♥ Do have faith in what you're doing.