sentinelK's recent timeline updates sentinelK's recent timeline updates
我本将心向明月，奈何明月照沟渠。
May 30, 2023
 |
sentinelKV2EX member #631792, joined on 2023-05-30 20:41:02 +08:00Today's activity rank 4018 |
kop1989的三转小号
| 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s Local LLM • sentinelK • 5h 26m ago • Lastly replied by catazshadow | 7 |
| strata 极致优化指南（参数篇）64GB RAM + RTX pro 5000 48GB， IQ3_XXS 量化， prefill 4500t/s， decode 180t/s 同时缓存 5 个 262k 会话不重新 prefill Local LLM • sentinelK • 3 days ago • Lastly replied by coefu | 13 |
| “马鞍税”，一篇非常有意思的 harness 横比文章 程序员 • sentinelK • Sep 18 • Lastly replied by greentim | 9 |
| 很好奇小米开放的这个实时训练监控器，其中成本（cost）的组成： https://mimo.xiaomi.com/rl/#overview 程序员 • sentinelK • Sep 17 • Lastly replied by lwep | 8 |
| deepseek-flash 的第三方跑分趣闻 DeepSeek • sentinelK • Sep 11 • Lastly replied by sentinelK | 3 |
| mac m5 ultra 上线中国官网。1.2T 显存带宽， 256GB 版本 8.6 万 Local LLM • sentinelK • Aug 28 • Lastly replied by sadan9 | 51 |
| RTX PRO 5000（或其他 48GB 显存）的 Qwen3.8-27B-FP8 配置交流（prefill 5000+t/s， decode 60+t/s）
1 Local LLM • sentinelK • Aug 26 • Lastly replied by tgfbeta
|
55 |
| OpenCode go 订阅开始区分模型提供额度， kimi-k3、deepseek-v4-pro 等只有 15$的额度，请各位注意用量。 程序员 • sentinelK • Jul 20 • Lastly replied by shuck | 49 |
sentinelK's recent replies
7h 28m ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
@catazshadow 我是开的 262144 的上下文长度，一般来讲到 220k 的时候已经触发压缩了，所以没见过严重的注意力漂移
9h 3m ago Replied to a topic by MagicalCarl › 程序员 › 莫非 opencode 真的自建的？ |
不是他自建的，和 orcarouter 合作的。
10h 41m ago Replied to a topic by sentinelK › Local LLM › 你好 NVFP4： strata-0.1.44.1， qwen3.8-flash-next， rtx pro 5000 48GB + 64GB RAM， decode 130t/s， prefill2600 t/s |
@catazshadow 如果从跑分角度讲，大概提升 5%，从困惑度角度讲降低 50%。
实操中，比 IQ3_XXS 更少出现雷霆思考。代价就是对于 48 vram + 64ram 来讲，考虑到会话缓存，nvfp4 还是有点太极限了。
实操中，比 IQ3_XXS 更少出现雷霆思考。代价就是对于 48 vram + 64ram 来讲，考虑到会话缓存，nvfp4 还是有点太极限了。
1 day ago Replied to a topic by YanSeven › 程序员 › 26 年是关键的一年，感觉 26 年很多码农的思维从“我的水平 llm 还不配取代我”到“别挣扎了，不管做到什么程度 llm 终将取代我” |
我的理解是，只要企业没有让你随身带摄像头和录音笔，相较而言其实就没那么悲观。
因为本质上来讲，如果你的任务能直接被信息化内容直接量化交接。那其实即便 AI 不替代你，下一个卷王也会替代你的。
商业的核心永远不再纸上。
因为本质上来讲，如果你的任务能直接被信息化内容直接量化交接。那其实即便 AI 不替代你，下一个卷王也会替代你的。
商业的核心永远不再纸上。
2 days ago Replied to a topic by scoutL › 程序员 › 塞班机时代也有很多不错的像素 rpg 网游，智能机时代为什么不延续这些 IP |
你在这扣哧几个月甚至一两年，做一个游戏，了不起了卖 48 。
人家隔壁随便搞个纸片人能换无数个 648 ，要你你怎么选。
人家隔壁随便搞个纸片人能换无数个 648 ，要你你怎么选。
2 days ago Replied to a topic by scoutL › 程序员 › 塞班机时代也有很多不错的像素 rpg 网游，智能机时代为什么不延续这些 IP |
现在的人的游戏节奏变了。手游在普遍朝着更懒、更低精力的角度演进。
目前的环境之下，好好做游戏 ≠ 能赚钱。
做第九艺术不如搞多巴胺过山车。
目前的环境之下，好好做游戏 ≠ 能赚钱。
做第九艺术不如搞多巴胺过山车。
2 days ago Replied to a topic by jinsongzhaocn › Local LLM › 本地大模型：统一内存(UMA)和显存+内存(分层卸载), 统一内存 UMA 才是普通用户的未来！ |
楼主这是怕手里的统一内存设备被 strata 冲烂，出来唱多吗 XDD
2 days ago Replied to a topic by kk0x03 › 程序员 › 重复操作的事情变成 skill 让 AI 去干，但是发现 AI Coding 本身已经开始变得重复劳动了 |
也就是说，对于 LLM 的泛用性来讲，瓶颈这几年其实没变，本质上就是上下文的合理获取。
只不过之前是直观、垂直领域的上下文如何获取，我们通过 ReAcT 配合模型后训练解决了。
那么横向领域的、非客观的、甚至主观故意曲解、隐藏的背景信息究竟该如何获取，是下一步的问题。
只不过之前是直观、垂直领域的上下文如何获取，我们通过 ReAcT 配合模型后训练解决了。
那么横向领域的、非客观的、甚至主观故意曲解、隐藏的背景信息究竟该如何获取，是下一步的问题。
2 days ago Replied to a topic by kk0x03 › 程序员 › 重复操作的事情变成 skill 让 AI 去干，但是发现 AI Coding 本身已经开始变得重复劳动了 |
现在限制全面 AI 化的掣肘，本质上就是人类组织结构中的很多非信息化的部分了。
因为目前的公司的组织结构是按照人类的能力和任务来设计的。这就导致很大一部分信息量其实是不信息化，不“上系统”的。
比如领导说，小王，你们组的产品线要抓紧，功能和工期要“衡量斟酌”一下。
这个“抓紧” 导致的 “衡量斟酌” 背后的实际含义，如果用上下文计，最起码 500K token 。得从领导喜好、内部政治、团队背景乃至公司历史盘古开天辟地开始讲。
然而这些目前大模型都无从而知，也就无法给你最好的建议。
因为目前的公司的组织结构是按照人类的能力和任务来设计的。这就导致很大一部分信息量其实是不信息化，不“上系统”的。
比如领导说，小王，你们组的产品线要抓紧，功能和工期要“衡量斟酌”一下。
这个“抓紧” 导致的 “衡量斟酌” 背后的实际含义，如果用上下文计，最起码 500K token 。得从领导喜好、内部政治、团队背景乃至公司历史盘古开天辟地开始讲。
然而这些目前大模型都无从而知，也就无法给你最好的建议。
2 days ago Replied to a topic by tab16360 › 推广 › uu 远程是真的很吃流量 |
UU 远程和 parsec 一样，是动态 fps ，会随着你 UI 的变化、当前焦点进程类型而变动 fps 帧率，从而节省流量。
Select Language