sentinelK's recent timeline updates sentinelK's recent timeline updates
我本将心向明月，奈何明月照沟渠。
May 30, 2023
 |
sentinelKV2EX member #631792, joined on 2023-05-30 20:41:02 +08:00Today's activity rank 3503 |
kop1989的三转小号
| 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s Local LLM • sentinelK • 1 day ago • Lastly replied by catazshadow | 7 |
| strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill Local LLM • sentinelK • 4 days ago • Lastly replied by coefu | 13 |
| “马鞍税”，一篇非常有意思的 harness 横比文章 程序员 • sentinelK • Sep 18 • Lastly replied by greentim | 9 |
| 很好奇小米开放的这个实时训练监控器，其中成本（cost）的组成： https://mimo.xiaomi.com/rl/#overview 程序员 • sentinelK • Sep 17 • Lastly replied by lwep | 8 |
| deepseek-flash 的第三方跑分趣闻 DeepSeek • sentinelK • Sep 11 • Lastly replied by sentinelK | 3 |
| mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万 Local LLM • sentinelK • Aug 28 • Lastly replied by sadan9 | 51 |
| RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）
1 Local LLM • sentinelK • Aug 26 • Lastly replied by tgfbeta
|
55 |
| OpenCode go 订阅开始区分模型提供额度， kimi-k3、deepseek-v4-pro 等只有 15$的额度，请各位注意用量。 程序员 • sentinelK • Jul 20 • Lastly replied by shuck | 49 |
sentinelK's recent replies
1h 23m ago Replied to a topic by donkeylucky › 程序员 › 1w token 每秒 |
瓶颈跟性能没什么关系。
核心还是上下文长度、注意力机制、上下文捕获能力，以及最终的概率泛化能力上。
核心还是上下文长度、注意力机制、上下文捕获能力，以及最终的概率泛化能力上。
2h 3m ago Replied to a topic by YanSeven › 程序员 › 在现在及以后的 llm 时代，计算机/软件的技术能力和知识是否有类似“虽然你不是翻译但是学点英文是好的”、“虽然你从事不了金融行业但是有金融知识是好的”、“虽然当不了医生，但是有点生物医药的知识肯定是好的”，这样的“行业外地位？” |
其实一直都是。
只是之前有一帮人比较自命不凡，不认为其他行业的是“开发”。
只有知道为什么 java 的 int 5 == Integer 5 为真的人才配叫开发。
只是之前有一帮人比较自命不凡，不认为其他行业的是“开发”。
只有知道为什么 java 的 int 5 == Integer 5 为真的人才配叫开发。
2h 6m ago Replied to a topic by sn0wdr1am › 程序员 › AI 和 rea 让你们的胆子大起来了。我感觉不久的将来，会有人说： |
我理解 rea 其实和之前的 photocraft 一样，其实是“行为艺术”属性比较大。
他再次让人们意识到了，按照目前的法律，基本无法应对 AI 洗稿的问题。
之前所有的针对 AI 洗稿的（无论是肖像、声音还是绘画、音乐、产品）最终要么不了了之，要么使用一个无法量化的主观判断来解决。
他再次让人们意识到了，按照目前的法律，基本无法应对 AI 洗稿的问题。
之前所有的针对 AI 洗稿的（无论是肖像、声音还是绘画、音乐、产品）最终要么不了了之，要么使用一个无法量化的主观判断来解决。
1 day ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
@catazshadow 我是开的 262144 的上下文长度，一般来讲到 220k 的时候已经触发压缩了，所以没见过严重的注意力漂移
1 day ago Replied to a topic by MagicalCarl › 程序员 › 莫非 opencode 真的自建的？ |
不是他自建的，和 orcarouter 合作的。
1 day ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
@catazshadow 如果从跑分角度讲，大概提升 5%，从困惑度角度讲降低 50%。
实操中，比 IQ3_XXS 更少出现雷霆思考。代价就是对于 48 vram + 64ram 来讲，考虑到会话缓存，nvfp4 还是有点太极限了。
实操中，比 IQ3_XXS 更少出现雷霆思考。代价就是对于 48 vram + 64ram 来讲，考虑到会话缓存，nvfp4 还是有点太极限了。
2 days ago Replied to a topic by YanSeven › 程序员 › 26 年是关键的一年，感觉 26 年很多码农的思维从“我的水平 llm 还不配取代我”到“别挣扎了，不管做到什么程度 llm 终将取代我” |
我的理解是，只要企业没有让你随身带摄像头和录音笔，相较而言其实就没那么悲观。
因为本质上来讲，如果你的任务能直接被信息化内容直接量化交接。那其实即便 AI 不替代你，下一个卷王也会替代你的。
商业的核心永远不再纸上。
因为本质上来讲，如果你的任务能直接被信息化内容直接量化交接。那其实即便 AI 不替代你，下一个卷王也会替代你的。
商业的核心永远不再纸上。
2 days ago Replied to a topic by scoutL › 程序员 › 塞班机时代也有很多不错的像素 rpg 网游，智能机时代为什么不延续这些 IP |
你在这扣哧几个月甚至一两年，做一个游戏，了不起了卖 48 。
人家隔壁随便搞个纸片人能换无数个 648 ，要你你怎么选。
人家隔壁随便搞个纸片人能换无数个 648 ，要你你怎么选。
2 days ago Replied to a topic by scoutL › 程序员 › 塞班机时代也有很多不错的像素 rpg 网游，智能机时代为什么不延续这些 IP |
现在的人的游戏节奏变了。手游在普遍朝着更懒、更低精力的角度演进。
目前的环境之下，好好做游戏 ≠ 能赚钱。
做第九艺术不如搞多巴胺过山车。
目前的环境之下，好好做游戏 ≠ 能赚钱。
做第九艺术不如搞多巴胺过山车。
3 days ago Replied to a topic by jinsongzhaocn › Local LLM › 本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！ |
楼主这是怕手里的统一内存设备被 strata 冲烂，出来唱多吗 XDD
Select Language