• 请不要在回答技术问题时复制粘贴 AI 生成的内容
superbai
V2EX  ›  程序员

容器化环境中有什么办法可以把日志文件同步到其他存储介质上?

  •  
  •   superbai · Jul 11, 2022 · 3051 views
    This topic created in 1591 days ago, the information mentioned may be changed or developed.

    Java 服务,部署在一个容器化环境中,容器镜像是部署平台构建好的,使用方只能丢一个 jar 包上去按照平台预设的命令启动(这个命令可以进行调整),有什么办法可以自动化把日志文件或者日志内容传输到其他的存储介质上吗?比如对象存储等等

    THESDZ
    THESDZ
    Jul 11, 2022
    1
    容器-v 可以吗?不可以的话,日志的框架能支持其他输出源吗?
    runo
    runo
    Jul 11, 2022 via iPhone
    2
    log4j + customappender 呢…
    superbai
    superbai
    OP
    Jul 11, 2022
    3
    @THESDZ #1 容器自身上面什么都改不了。日志框架是 log4j ,刚才搜了下也没搜到有用的
    superbai
    superbai
    OP
    Jul 11, 2022
    4
    @q1angch0u #2 感谢,我去瞅瞅
    mimzy
    mimzy
    Jul 11, 2022
    5
    我理解理想状态是平台支持用 sidecar 采集日志,业务不必操心这些。
    superbai
    superbai
    OP
    Jul 11, 2022
    6
    @mimzy #5 是啊,这样最好了。现在是平台有些问题不好解决,就想看看从使用方能不能解决下这个问题
    cslive
    cslive
    Jul 11, 2022
    7
    log4j 不是支持将日志文件存在指定目录下吗
    superbai
    superbai
    OP
    Jul 11, 2022
    8
    @cslive #7 嗯,不是要存储指定目录,是要转存到非容器的存储介质上
    my3157
    my3157
    Jul 11, 2022 via Android
    9
    loki 了解下
    joesonw
    joesonw
    Jul 11, 2022 via iPhone
    11
    都上容器了,打 stdout 啊。在宿主机上采集处理。
    S2Line
    S2Line
    Jul 11, 2022 via iPhone
    12
    挂载到宿主机上,然后转存到目的存储介质
    superbai
    superbai
    OP
    Jul 11, 2022
    13
    @my3157 #9 感谢,我看看
    superbai
    superbai
    OP
    Jul 11, 2022
    14
    @XiLingHost #10 感谢分享,我看看能不能用
    superbai
    superbai
    OP
    Jul 11, 2022
    15
    @joesonw #11
    @S2Line #12 宿主机做不了任何改动。就是整个容器化部署平台不是我们的,所以没办法改各种配置等等,推动升级也比较费力
    ccde8259
    ccde8259
    Jul 12, 2022 via iPhone
    16
    Pod 里面多个 filebeat 容器,推到 ES 上
    potatowish
    potatowish
    Jul 12, 2022 via iPhone
    17
    logstash 应该可以
    zr8657
    zr8657
    Jul 12, 2022
    18
    我之前遇到过这种情况,建议不用搞。后面平台方自己会加上类似 loki 这种日志功能的,你现在搞了也是白干活
    photon006
    photon006
    Jul 12, 2022
    19
    宿主机 elk 采集
    tramm
    tramm
    Jul 12, 2022
    20
    用推送日志的插件啥的, 比如我们有个服务就是直接发送到 logstash...
    yimiaoxiehou
    yimiaoxiehou
    Jul 12, 2022
    21
    filebeat 直接监听整个 docker 的 私有 log ,然后 推倒 kafka 然后 在 logback + es ,或者是 直接到自己的日志系统
    defunct9
    defunct9
    Jul 12, 2022
    22
    部署平台不是自己的话。基本从 k8s 层面上不可搞。S3 Log4j Appender 是正解。
    yimiaoxiehou
    yimiaoxiehou
    Jul 12, 2022
    23
    类似这个 路径 cat /data/docker/containers/27323ca9ba78a4dc781a4ce19a4478cbc372288193dd0f75117742bbc8e96aa7/27323ca9ba78a4dc781a4ce19a4478cbc372288193dd0f75117742bbc8e96aa7-json.log


    /data/docker 是我的 docker-dir 默认应该是
    nilai
    nilai
    Jul 12, 2022
    24
    增加 skywalking 的 sidecar 0 代码侵入,全链路监控搞得明明白白的。
    litchinn
    litchinn
    Jul 12, 2022
    25
    部署的机器一点都不能动的话,好像只有 10 楼说的 appendor 这种方式了,不然像 promtail 什么的都可以采集,docker 还有 loki 的插件。
    frank1256
    frank1256
    Jul 12, 2022
    26
    fileBeat ,就够了
    liuliangyz
    liuliangyz
    Jul 12, 2022
    27
    容器-v 指向实体路径
    superbai
    superbai
    OP
    Jul 12, 2022
    28
    @zr8657 #18 没办法,现在有平台有急需的功能不支持,只能自己动手先凑合用下了
    superbai
    superbai
    OP
    Jul 12, 2022
    29
    @defunct9 #22
    @litchinn #25 嗯嗯,感谢,我试试
    superbai
    superbai
    OP
    Jul 12, 2022
    30
    @ccde8259 #16
    @potatowish #17
    @photon006 #19
    @tramm #20
    @yimiaoxiehou #21
    @yimiaoxiehou #23
    @nilai #24
    @frank1256 #26
    @liuliangyz #27 感谢大家~容器、镜像、平台都无法改动,只能从程序自身入手了~
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   934 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 64ms · UTC 20:29 · PVG 04:29 · LAX 12:29 · JFK 15:29
    ♥ Do have faith in what you're doing.