qqq8724
V2EX  ›  问与答

请教个问题,关于 Spark 累加器的

  •  
  •   qqq8724 · Jun 10, 2018 · 2016 views
    This topic created in 3075 days ago, the information mentioned may be changed or developed.

    我在代码中设置了全局变量的累加器,在 map 操作中对他累加之后,在 map 外边再访问的时候,累加器的值又回到了初始值,请问是什么原因

    5 replies  •  2018-06-14 09:44:13 +08:00
    kex0916
    kex0916
    Jun 10, 2018
    1
    map 外访问?没有 action 算子吗?
    qqq8724
    qqq8724
    OP
    Jun 11, 2018
    2
    @kex0916 有的呀 map 完我还 count 了
    kex0916
    kex0916
    Jun 11, 2018
    3
    光看你说的情况不太好定位,最好搞个 demo 测下,如果还是有问题可以把 demo 放出来。
    qqq8724
    qqq8724
    OP
    Jun 14, 2018
    4
    @kex0916 我后来把 map 重分区成 1 的时候,他就可以用了,感谢您的答复
    kex0916
    kex0916
    Jun 14, 2018
    5
    @qqq8724 🙂
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1021 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 19:01 · PVG 03:01 · LAX 11:01 · JFK 14:01
    ♥ Do have faith in what you're doing.