zhanying
V2EX  ›  问与答

大家觉得特斯拉 FSD V15 的 Tesla Reality View 是怎么实现的?

  •  
  •   zhanying · 13h 37m ago · 1658 views
    是实时高斯泼溅吗?说是只用半个 AI4 TRIP 加速器的算力
    19 replies  •  2026-11-22 23:25:51 +08:00
    herozhang
    herozhang
    13h 12m ago
    1
    国内还在等 V14.。。
    zhanying
    zhanying
    OP
    12h 45m ago via Android
    2
    @herozhang 那肯定是等不到了
    Tink
    Tink
    11h 55m ago via iPhone
    3
    感觉在里面玩 gta 应该很好玩,能有效解决路怒症
    kera0a
    kera0a
    11h 50m ago via iPhone
    4
    画面升级跨度也太大了
    crysislinux
    crysislinux
    10h 55m ago via Android
    5
    这个功能我是真心想要,第三人称视角太有安全感了。
    chunyucaitom
    chunyucaitom
    10h 45m ago
    6
    马斯克那条帖里写的是实时 AI 视频生成,不用游戏引擎,算力只用一个 AI4 TRIP 加速器的一半。没看到官方提高斯泼溅。
    frankies
    frankies
    10h 8m ago
    7

    ?list=PLd0RqsT0LlPo&t=867
    参见该特斯拉工程师的会议报告,实时 3D 场景应该是使用生成式 3D 高斯泼溅技术实现的。
    gpt5
    gpt5
    9h 54m ago
    8
    我宣布,人车交互进入全新纪元
    isbase
    isbase
    9h 42m ago via iPhone
    9
    照这个情况,国内 5 年后、10 年后有可能用上吗?
    akring
    akring
    8h 9m ago
    10
    @isbase 国内不用想了,一个隐私和国家级安全就卡死
    DeWjjj
    DeWjjj
    PRO
    7h 45m ago
    11
    这玩意有啥用...
    只是视图层变得更好吧,实际上的底层数据层没啥变化。
    对智驾会有帮助?这个很难说吧。
    zhanying
    zhanying
    OP
    6h 40m ago
    12
    @DeWjjj 一个是补齐了之前特斯拉没有 360 影像的劣势,另一个某种意义上算是特斯拉世界模型的雏形?可能后面擎天柱 v3 会用到
    trytrytry
    trytrytry
    4h 2m ago
    13
    视觉 3D 高斯泼溅建模+图生图? 不理解高斯泼溅的可以看看影视飓风的视频, 我是不太理解意义, 以前的粗糙建模和这个其实区别不大, 更精致了一点而已, 摄像头该看不见的还是看不见, 更应该他能解决地下车库的边缘识别问题
    zhanying
    zhanying
    OP
    3h 34m ago via Android
    14
    @trytrytry 马斯克刚刚说了,是扩散模型搞得
    zhanying
    zhanying
    OP
    3h 32m ago via Android
    15
    @frankies 刚刚马斯克解释是这样的:

    从去年开始,我们就已经有了一个精度接近像素级完美的世界模型,这对生成合成数据至关重要。
    车上搭载的是一个小得多的版本。它是一个条件均值流模型,以特斯拉通用视觉编码器(UVE)最近输出的一段特征序列为条件。同一组特征也会输入一个 30 亿参数的编码器模型,由它输出驾驶动作。

    我们从这些 UVE 特征引出一条分支,运行一个独立的、约 10 亿参数的扩散模型。它接收上一轮生成的实景画面,在加噪后对其去噪,得到当前的可视化画面。

    随后,它会生成一小段视频(8 帧图像,帧率 36 fps,分辨率与用户界面屏幕一致)。UVE 以 18 Hz 输出,每一帧对应的这项工作由半个 TRIP 引擎分 4 个周期完成。

    目前受算力限制,延迟有点高,但我们有办法把更新的 UVE 特征交错送入扩散 Transformer 的各层,将延迟降低约 35%。

    把我们那个很小的解码器移入 SRAM 后,SoC B 上的 3 个 TRIP 引擎中,只剩半个可供这个实景可视化模块使用,所以我们尽可能充分地利用了这部分算力。TRIP 基本只支持 8 位整数运算,运行 softmax 时必须通过仿真分 28 步完成。

    AI5 的提升非常大,算力大约是现在的 12 倍。
    trytrytry
    trytrytry
    20 mins ago
    16
    @zhanying diffusion 模型生成视频么, 那不难理解了, 他们相当于把端到端中间的特征取出来一部分做决策一部分做画面生成了, 比高斯泼溅还省算力, 展示效果比较惊艳
    nicaiwss
    nicaiwss
    16 mins ago via iPhone
    17
    @zhanying 难为一个 ceo 能记得这么齐全
    x86
    x86
    16 mins ago
    18
    我感觉没必要呀,把路上的和停车倒车时常见的突出标记不就行了,连路边房子都渲染一遍何意味?
    hhyvs111
    hhyvs111
    13 mins ago
    19
    挺牛逼的,看着跟玩 gta 一样,如果后面车改色了也能渲染那就牛逼了
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1682 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 15:39 · PVG 23:39 · LAX 07:39 · JFK 10:39
    ♥ Do have faith in what you're doing.