• 请不要在回答技术问题时复制粘贴 AI 生成的内容
hoodjannn
V2EX  ›  程序员

求教 个人 aigc 创业的朋友,你们的 gpu 服务器是怎么搞定的

  •  
  •   hoodjannn · Dec 2, 2024 · 5357 views
    This topic created in 701 days ago, the information mentioned may be changed or developed.

    看了一眼 阿里云的 gpu 服务器,倒吸一口凉气,感觉这个成本真的收的回来吗

    23 replies  •  2025-02-20 11:16:23 +08:00
    stimw
    stimw
    Dec 2, 2024 via Android❤️1
    1
    个人搞 aigc 肯定都是调 api 的,云服务器部署这个成本不太可能。
    hash
    hash
    Dec 2, 2024
    2
    租 GPU 服务器是性价比最低的,甚至都不如自己弄一堆二手显卡放家里
    shadowyue
    shadowyue
    Dec 2, 2024
    3
    我觉得组 gpu 才是正解。你自己买显卡,二手出去得亏多少钱。
    云服务好歹还能按需付费。
    rap16
    rap16
    Dec 2, 2024
    4
    套壳啊,套壳能赚钱干嘛还要自建
    codersun123
    codersun123
    Dec 2, 2024
    5
    autoDL 类似这种的按需付费
    nrtEBH
    nrtEBH
    Dec 2, 2024
    6
    together.ai
    硅基流动
    这类 ai infra 供应商
    云端 gpu 已经算好了 至少能按小时租
    自己买机器那绝对是重资产投入了 而且显卡摩尔定律还在 花大钱买的机器两年后过时划不来
    littlehans8
    littlehans8
    Dec 2, 2024❤️4
    7
    1. 调第三方 API ;
    2. 我当时自己是搞了张 4090 放家里,然后内网穿透出去。当然最后项目黄了,显卡卖了还小赚一点,然后整个项目最赚钱的还是这张显卡。 手动狗头 :-
    importmeta
    importmeta
    Dec 2, 2024
    8
    个人 aigc 创业, 还要租阿里云服务器, 你没有营业执照, 能过备案这一关?
    importmeta
    importmeta
    Dec 2, 2024
    9
    AI 要算法登记, 个人都没法申请.
    dayeye2006199
    dayeye2006199
    Dec 2, 2024
    10
    需要 GPU 的可以重新考虑一下商业模式
    catamaran
    catamaran
    Dec 2, 2024
    11
    IT 行业第一次进入重资产时代?
    alfa
    alfa
    Dec 2, 2024
    12
    @littlehans8 最后想下来,还不如 all in 4090(🐶)
    Pbe2RsrnVcPrF
    Pbe2RsrnVcPrF
    Dec 2, 2024
    13
    lambda labs
    Brimoire
    Brimoire
    Dec 2, 2024
    14
    说实话 调接口是最方便和便宜的 接近 2w 的 4090 买接口调用的话 你都能调到你项目倒闭
    hoodjannn
    hoodjannn
    OP
    Dec 2, 2024
    15
    @littlehans8 请教大佬,这个调三方 api ,可以本地训练好自己想要的模型,再上传就能使用了是吗
    xiaopanzi
    xiaopanzi
    Dec 2, 2024
    16
    @hoodjannn 你怎么本地训练模型?有算力吗?能训练多大模型?
    RatioPattern
    RatioPattern
    Dec 2, 2024
    17
    之前 P40 700 一块的时候买了两块,然后有 48G 显存了,然后配了 D1581 主板 16 核 32 线程的板子 4 个网口的加 128G 内存,
    加硬盘电源杂七杂八用了 3000 块出头,待机功耗 50W 不到,天天开着跑 DOCKER 挂了 FRP 出去给小站跑图跑 llama 用

    缺点就是可惜这个板子 PCIE 不是完整的 X16 ,然后 U 虽然核心多但是 IPC 低然后内存因为老一代加 ECC 的带宽有点低,然后 P40 这卡不支持半精度,但是胜在不跑训练的话速度不算慢,跑训练的话最好还是云服务跑了把模型拉下来用,硬要训练的话显存够搞好散热肯定能跑也不至于太慢,然后 48G 显存可以用很多大参数的模型,对个人来说前期投资和长期开机使用成本极致的低还是比较满意。
    RatioPattern
    RatioPattern
    Dec 2, 2024
    18
    后来没啥兴趣了就出了没想到用了大半年 P40 这玩意竟然还翻了个倍。。。这年头啥都金融化了
    hoodjannn
    hoodjannn
    OP
    Dec 2, 2024
    19
    @xiaopanzi 什么叫怎么本地训练模型??
    ibazhx
    ibazhx
    Dec 2, 2024
    20
    自己部署 GPU 服务器的话,并发怎么搞定?除非是很有钱吧,能调 api 就别买 GPU 服务器了。要微调的话,可以看看线上各家的在线微调,使用成本也低。还有的话提醒楼主一下,要是还没把调三方 api 弄明白就不要轻易创业了。
    ibazhx
    ibazhx
    Dec 2, 2024
    21
    @ibazhx #20 感觉有些多嘴了,当作没看到把
    qiniu2025
    qiniu2025
    Dec 2, 2024
    22
    AI 免费不起,必须收费
    kssss
    kssss
    Feb 20, 2025
    23
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5291 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 68ms · UTC 02:13 · PVG 10:13 · LAX 18:13 · JFK 21:13
    ♥ Do have faith in what you're doing.