• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yaidev
V2EX  ›  程序员

最近正准备转型大数据方向,很好奇大数据码农们的日常工作都是干什么的?

  •  2
     
  •   yaidev ·
    yai-dev · Jun 26, 2018 · 9963 views
    This topic created in 3054 days ago, the information mentioned may be changed or developed.

    不太了解,对大数据方向挺感兴趣的,
    求各位在大数据领域进行讨生活的各位大佬给解解惑

    37 replies  •  2018-06-27 08:56:22 +08:00
    dif
    dif
    Jun 26, 2018❤️1
    1
    刷 v2ex,看知乎,出去吹牛皮。。
    yaidev
    yaidev
    OP
    Jun 26, 2018
    2
    @dif lol,不会吧,这么闲的吗??
    loryyang
    loryyang
    Jun 26, 2018❤️1
    3
    工程方向就是维护下一些框架,做些升级,然后偏业务的就是开发业务相关逻辑,出个报表,出个数据什么的
    或者给机器学习跑点数据和特征
    yaidev
    yaidev
    OP
    Jun 26, 2018
    4
    @loryyang 万分感谢🙏
    tingyunsay
    tingyunsay
    Jun 26, 2018❤️1
    5
    写他么的 hql(;´༎ຶД༎ຶ`)
    mkstring
    mkstring
    Jun 26, 2018❤️2
    6
    写大量的 SQL,偶尔写 MR
    VoidChen
    VoidChen
    Jun 26, 2018
    7
    我只说我做的。。。搞下集群,部署搭建和问题检查什么的,然后跟某重本合作拿来一些业务类型的算法去做实现,优化校准,还有就是偶尔遇到一些问题(内存不够或者计算不够快或者统计数量大),去看开源拆算法搞来用,杂七杂八的。其实跟写 java 差不多啦,可能是因为毕业半年多,学的用的还比较浅(不过用的全,常用的基本都用过了)
    wwek
    wwek
    Jun 26, 2018
    8
    数据清洗 结构化 ETL 写 HQL
    yaidev
    yaidev
    OP
    Jun 26, 2018
    9
    @tingyunsay
    @mkstring
    @VoidChen
    @wwek
    谢谢各位大佬
    liyer
    liyer
    Jun 26, 2018
    10
    爬数据,入库,去噪,打标签,分析
    deepreader
    deepreader
    Jun 26, 2018
    11
    数据清理,做 PPT。
    wtf94666
    wtf94666
    Jun 26, 2018 via Android
    12
    我是设计 我感觉我公司的工程师们都在刷蔚蓝航线
    sudoz
    sudoz
    Jun 26, 2018
    13
    总而言之就是没什么意思
    grewer
    grewer
    Jun 26, 2018
    14
    @wtf94666 舰 B 么
    SuperMild
    SuperMild
    Jun 26, 2018
    15
    据说就是洗数据……不管哪个领域,都是站在高位置的人才有差别,底下全是搬砖,体力活。
    zynlp
    zynlp
    Jun 26, 2018 via iPhone
    16
    纳尼?只有我这么忙吗,只能蹲坑的时候刷下 v2😭
    搞了一个礼拜的 cuda 了,整个人都粗大了
    WXG999
    WXG999
    Jun 26, 2018
    17
    @VoidChen 敢问大佬是本科还是硕士毕业?
    VoidChen
    VoidChen
    Jun 26, 2018
    18
    @WXG999 不是大佬,二本毕业。。让你失望了😭
    VoidChen
    VoidChen
    Jun 26, 2018
    19
    回复的时候看了下,怎么好像基本都是数据清洗?我主要做的是 storm 流处理,基础的数据清洗就只是在源头那里架一个 bolt 过滤掉就好了(包括一些修正),怎么好像不太一样?朋友里面没有做大数据的,所以不是很清楚情况,借个楼问下。。。万一以后跳槽别人一问不知道就不好了😭
    WXG999
    WXG999
    Jun 26, 2018
    20
    @VoidChen 好好工作以后都是大佬😭
    chi1st
    chi1st
    Jun 26, 2018
    21
    写后端。。。
    lastpass
    lastpass
    Jun 26, 2018 via Android
    22
    清洗数据,造轮子。
    ren2881971
    ren2881971
    Jun 26, 2018❤️1
    23
    坐我旁边的就是搞数据的,各种 ETL 抽取、清洗 、转换 出报表。
    自从有了他,报表错误的锅再也不是我背了。。。
    jasonchen168
    jasonchen168
    Jun 26, 2018
    24
    怎么转的啊?必备基本技能是什么
    applehater
    applehater
    Jun 26, 2018 via iPhone
    25
    比一般业务少了“改”只有“增删查”。
    zhusimaji
    zhusimaji
    Jun 26, 2018
    26
    sql 清洗数据---构造模型---spark 计算
    lius931115
    lius931115
    Jun 26, 2018
    27
    写 spark SQL 和 spark Streaming 的多吗? 各位大佬们!
    hackpro
    hackpro
    Jun 26, 2018
    28
    60%以上的时间在 Data Cleaning 俗称 Data Augument
    bk201
    bk201
    Jun 26, 2018❤️1
    29
    @applehater 你这理解有问题,和 CURD 无关,大多数都是统计计算,非要关联的话就是查
    superbiger
    superbiger
    Jun 26, 2018
    30
    大量 sql,很多正则,说是计算全是过滤
    arctanx
    arctanx
    Jun 26, 2018
    31
    爬虫->mongodb->elasticsearch->网站后端

    ...我都不知道我算不算大数据码农
    defunct9
    defunct9
    Jun 26, 2018
    32
    吃饭,睡觉,打豆豆
    southsala
    southsala
    Jun 26, 2018
    33
    @wtf94666 你们什么公司啊 我在我们公司推广碧蓝航线推不出去
    WinMain
    WinMain
    Jun 26, 2018
    34
    我们组那位大数据童鞋用 spark 等工具处理 kafka 等地方的数据,出报表,比如 app 相关的点击率,转化率,时常统计等,还有给推荐算法搜索算法童鞋做点数据前期处理的工作。
    renzongxian
    renzongxian
    Jun 26, 2018 via iPhone
    35
    用 HQL、MR 处理数据,ETL,找 bug,改 bug
    fuyufjh
    fuyufjh
    Jun 26, 2018 via Android
    36
    大部分是 ETL 工程师,少部分是写框架的
    z3jjlzt
    z3jjlzt
    Jun 27, 2018
    37
    sql curd 只有 r。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1297 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 74ms · UTC 20:57 · PVG 04:57 · LAX 12:57 · JFK 15:57
    ♥ Do have faith in what you're doing.