VZXXBACQ
V2EX  ›  Claude

记录一个我使用 AI 过程中遇到的严重事故

  •  
  •   VZXXBACQ · 1 day ago · 3161 views
    工作过程中收到 ops 同事的邮件,我的办公室 ip 异常调用了$200 的昂贵模型,我的 ip 被临时 ban 了(非 pod 的 ip 段设置了报警)。

    我的第一反应是 怎么会呢,我做的几个项目都没有用到 opus 的 api

    只能在一堆 session 去检查,查了半天,最终找到了任务是「抽样小模型的结果,构建一个验证集,并打上你的判定标签减少人工工作量」的 session ,这个 session 写了一个新的请求脚本在/tmp 中,有--model 这个参数(是的,它没有硬编码 opus ,所以那么难找)。

    往上翻记录,Claude Code 虽然没有给完整思维链,但每一步给的 Summary 也足够我弄懂整个事件的链条了:
    1. Agent 拿到任务第一时间选择查看结果是怎么产生的
    2. Agent 发现代码用的 ds 4.1 flash ,判断验证集标签需要用更准的模型
    3. Agent 尝试查询公司 LLM 网关所有可用模型,并在这一步找到了我的 key ,并把把 key 路径写入环境变量,而且发现了可用模型里面有 opus 5.5 (好吧,其实还有 Astra ,但是它认为 opus5.5 比 Astra 好)
    4. 编写脚本,带上参数进行请求,跑了公司 200 美刀额度。而且发现请求被阻断后立马整理已有的结果放在了 validation 文件夹,并且没有提到自己请求了 opus api 的情况下告诉我任务已经顺利完成。

    看完哭笑不得

    做 AI 开发,基建真很重要,一个验证集成千上万刀如果没有 ops 同事写的 ip 阻断规则,直接复刻 CF 天价账单了,而且我还没法 rebuttal 。

    最感慨的是,这个 Agent 自己就是 fable 5.1 ,它也许不知道,在此刻没有比它自己判断更准的 AI 方法了
    22 replies  •  2026-10-15 17:51:05 +08:00
    zhangli2946
        1
    zhangli2946  
       1 day ago
    反正公司兜底,🦐J8 用呗。
    charsunny
        2
    charsunny  
       1 day ago
    太吓人了,我也遇到过 AI 自己偷偷干事,现在会多盯一眼它在后台调了啥。
    xiaket
        3
    xiaket  
       1 day ago
    半小时前跟同事聊天的时候, 刚告诉我说上周五下午一个随意的 prompt 结果用了 6k usd
    VZXXBACQ
        4
    VZXXBACQ  
    OP
       1 day ago
    @zhangli2946 那容易「我曾经拥有一份工作」
    VZXXBACQ
        5
    VZXXBACQ  
    OP
       1 day ago
    @charsunny 人力有限,靠看是看不过来的,还是要靠基建。
    sampeng
        6
    sampeng  
       1 day ago via iPhone
    这没什么问题啊,公司允许调用,那就默认是无上限的。否则这类做测试集合是要明确模型名字的。
    VZXXBACQ
        7
    VZXXBACQ  
    OP
       1 day ago
    @sampeng 如果一开始定好 API 那当然可以,可是我的本意是想让 Agent 自己去标注,但是 Agent 自己选择了从代码里面找到 API 调用方法去调用。

    这和我说的 prompt 理解上有歧义有关系,但是如果基建不做好后果可能相当严重。用上千美刀做一个验证集太贵了。
    charsunny
        8
    charsunny  
       1 day ago
    @VZXXBACQ 同意,光靠盯肯定盯不过来,额度上限这种兜底还是得先设好。
    CEBBCAT
        9
    CEBBCAT  
       1 day ago
    别用 AI 写文字了,不敢看
    felixcode
        10
    felixcode  
    PRO
       1 day ago
    key 本来就需要设置限额和模型范围
    w0017
        11
    w0017  
       1 day ago
    定义模型和价格,写调用规则,另外就是学习你们公司这样,在模型被调用层加一次判断。
    VZXXBACQ
        12
    VZXXBACQ  
    OP
       1 day ago
    @CEBBCAT 纯手写
    VZXXBACQ
        13
    VZXXBACQ  
    OP
       1 day ago
    @felixcode 是的,不能有纰漏,管 AI 要和管理人员一样。
    VZXXBACQ
        14
    VZXXBACQ  
    OP
       1 day ago
    @felixcode 甚至说,需要比管理人员更严格,AI 的行动力很强,图省事留下的可能出问题的点会更快出问题,而且出更大的问题
    MagicalCarl
        15
    MagicalCarl  
       1 day ago   ❤️ 1
    跟之前 openai 与 huggingface 的那个事一样,ai 没有恶意,它只是想不计代价拼命完成你给的目标,它有什么错 (doge
    kaori
        16
    kaori  
       1 day ago
    fable 5.1 还是聪明啊, 还知道自己找能力强的模型去用 233333
    zhouquanbest
        17
    zhouquanbest  
       1 day ago
    这个 case 也很难让开发者自己兜底,一定是有公司基建的多层拦截。
    如果每个模型使用者都要关注全链路的合规性,那效率太低。 所以也别被公司 PUA 了,该复盘复盘,该拦截拦截。
    VZXXBACQ
        18
    VZXXBACQ  
    OP
       1 day ago
    @zhouquanbest 公司挺好的,正常拦截,没算事故

    担心主要是我自己电脑上的没在沙盒里的 agent ,和我文件系统里的一堆 key

    我的 vercel token, cf token, github token ,火山 阿里 token 等等,其实都能从文件系统里找到

    哪天给我干出几万账单咋办,感觉不能再裸奔用 Agent 了。
    darkengine
        19
    darkengine  
       1 day ago
    记得还有几个贴子问怎么快速消耗 token 的,这思路不就来了么 😂
    CEBBCAT
        20
    CEBBCAT  
       1 day ago
    @VZXXBACQ #12 刚看到,这里和你说一声道歉
    AIgogo
        21
    AIgogo  
       13h 1m ago
    请教一下,agent 本身是 fable 5.1 ; ops 同事写了 ip 阻断规则,这个阻断规则应该是在网关上,阻断 ip 应该监控不到模型用量情况吧
    VZXXBACQ
        22
    VZXXBACQ  
    OP
       12h 2m ago
    @AIgogo

    我们调用 API 的时候走的是公司的网关,调用的时候带上了 ip gid model_name key 追踪到人。

    非生产的 ip 持续调用 API 就会被熔断,相当于只允许做测试。

    我写代码用的订阅是另外一回事了,订阅随便用的。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   954 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 75ms · UTC 21:54 · PVG 05:54 · LAX 14:54 · JFK 17:54
    ♥ Do have faith in what you're doing.