V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
cszchen
V2EX  ›  Kubernetes

不想用 ELK 或者 EFK,有没有简单的替代方案

  •  
  •   cszchen · 2020-07-29 17:19:26 +08:00 · 11625 次点击
    这是一个创建于 1586 天前的主题,其中的信息可能已经有所发展或是发生改变。

    ELK 或者 EFK 太重了,我的需求太简单,就是收集日志,能查看日志,不需要分析
    所以有没有一个更简单纯粹的工具搞定呢

    第 1 条附言  ·  2020-07-30 19:32:37 +08:00
    用了 Grafana + Loki
    目前感觉还行
    49 条回复    2020-10-14 16:24:41 +08:00
    leeleehero
        1
    leeleehero  
       2020-07-29 17:24:55 +08:00   ❤️ 2
    flume+mongodb
    yc8332
        2
    yc8332  
       2020-07-29 17:26:45 +08:00   ❤️ 1
    数据库啊
    cszchen
        3
    cszchen  
    OP
       2020-07-29 17:29:29 +08:00
    @yc8332 那不得自己做个界面
    yc8332
        4
    yc8332  
       2020-07-29 17:33:19 +08:00
    @cszchen 不介意直接拿个 mysql 客户端就能看了啊。都不用系统了
    SingeeKing
        5
    SingeeKing  
       2020-07-29 17:41:41 +08:00   ❤️ 2
    这几天感觉好多公众号在推 Loki

    https://mp.weixin.qq.com/s/Ku42A8Ra13CKdaEDpKw_OQ
    tsl0922
        6
    tsl0922  
       2020-07-29 17:42:07 +08:00
    有。看看 Grafana Loki:

    https://grafana.com/oss/loki/
    gz911122
        7
    gz911122  
       2020-07-29 17:54:57 +08:00
    腾讯云现在日志服务免费
    jswh
        8
    jswh  
       2020-07-29 17:58:26 +08:00
    量不大用 sentry 当日志也行
    xcstream
        9
    xcstream  
       2020-07-29 17:59:46 +08:00
    mysql + 写个简单的 api
    w0nglend
        10
    w0nglend  
       2020-07-29 18:09:09 +08:00
    @gz911122 现在免费。。上车就收费
    CoderGeek
        11
    CoderGeek  
       2020-07-29 18:17:36 +08:00
    文本数据库
    Fitz
        12
    Fitz  
       2020-07-29 18:25:38 +08:00
    腾讯云 8 月份就收费了, 强烈推荐 loki, 功能够用, 也足够轻量, 颜值有 grafana 保障
    sadfQED2
        13
    sadfQED2  
       2020-07-29 18:46:19 +08:00 via Android
    Phpmyadmin+mysql+golang 写的日志收集器

    https://www.xjiangwei.cn/2020/07/12/serverArchitecture/
    levylll
        14
    levylll  
       2020-07-29 19:29:34 +08:00
    这还重?不需要分析你不用 kibana 不就行了。
    主要搞好 es,怎么扔进去可以按照你的习惯走。
    noparking188
        15
    noparking188  
       2020-07-29 23:15:14 +08:00
    我看到有一些开源命令行工具是帮助直接检索日志文件的,或许可以把日志同步到一台机器上,然后再去查看
    zzl22100048
        16
    zzl22100048  
       2020-07-30 01:08:53 +08:00 via iPhone
    @levylll es 还不重么...
    dcoder
        17
    dcoder  
       2020-07-30 01:18:16 +08:00
    @levylll ES 太重了,好不好
    ck65
        18
    ck65  
       2020-07-30 02:03:01 +08:00
    metrics metabase
    changwei
        19
    changwei  
       2020-07-30 03:48:19 +08:00 via Android
    kafka+mongodb 常用的查询 key 加上索引(比如 uid 和插入时间),也能满足一般的日志收集需求了
    rockxsj
        20
    rockxsj  
       2020-07-30 07:51:47 +08:00 via Android
    果断 loki,用了几周了,同事好评
    etmad
        21
    etmad  
       2020-07-30 08:16:37 +08:00
    在用 graylog
    xuanbg
        22
    xuanbg  
       2020-07-30 08:41:28 +08:00
    @dcoder
    @zzl22100048
    es 找台服务器 docker 装一下就能用了,哪里重了?
    ttyn
        23
    ttyn  
       2020-07-30 08:41:31 +08:00
    Graylog +1
    虽然也是 ES 封装,相对 ELK 来说,还是简单些
    关键是 ES 的查询方便
    0312birdzhang
        24
    0312birdzhang  
       2020-07-30 08:55:17 +08:00 via iPhone
    这跟我 k8s 有什么关系🤔?
    lff0305
        25
    lff0305  
       2020-07-30 09:49:22 +08:00
    fluentbit, 够轻量了,找个简单点的后端,比如 mongodb 之类的,或者干脆 Linux 的 syslog/windows 的 event log
    qW7bo2FbzbC0
        26
    qW7bo2FbzbC0  
       2020-07-30 09:52:53 +08:00
    loki?
    qW7bo2FbzbC0
        27
    qW7bo2FbzbC0  
       2020-07-30 09:53:12 +08:00
    @ttyn graylog 和 es 是什么关系,是商业版吗
    sidegem
        28
    sidegem  
       2020-07-30 09:56:09 +08:00
    tail -f **.log
    janxin
        29
    janxin  
       2020-07-30 10:02:56 +08:00
    promtail+loki 就很轻量呀,如果需要查询面板就到 grafana 里就可以了
    ghostwwg
        30
    ghostwwg  
       2020-07-30 10:09:08 +08:00
    你的需求就是直接存日志,ELK 一点都不重。而且功能配套齐全。不知道你怎么理解重的……
    Immortal
        31
    Immortal  
       2020-07-30 10:29:06 +08:00
    @ghostwwg #30
    大概指系统资源占用
    artandlol
        32
    artandlol  
       2020-07-30 11:29:26 +08:00 via Android
    fitbition
    cszchen
        33
    cszchen  
    OP
       2020-07-30 14:22:16 +08:00
    @ghostwwg
    @xuanbg
    @levylll
    主要 efk 对机器的配置要求有点高,我们的 这个业务也许短期都用不上 2 核 4G [/dog]
    xuanbg
        34
    xuanbg  
       2020-07-30 14:35:32 +08:00
    @cszchen 我司阿里云搞了 3 台共享型 2C8G 突发性能实例做 ES3 节点集群,每月不到 300 的说
    iyaozhen
        35
    iyaozhen  
       2020-07-30 14:35:43 +08:00
    @xuanbg 需要内存 需要钱
    iyaozhen
        36
    iyaozhen  
       2020-07-30 14:36:48 +08:00
    @xuanbg 很多公司核心业务机器都没有 2C8G
    ttyn
        37
    ttyn  
       2020-07-30 15:44:09 +08:00
    @hjahgdthab750 ES 可以理解成数据库,Graylog 是应用工具,需要连接 ES 进行读写,Graylog 是开源免费的
    今天试了一下单节点 ES+Kibana,占用内存 1G 左右,应该还好,Graylog 资源占用应该也差不多( Graylog 还额外需要 Mongodb )
    实在想精简的话,在线服务器安装 ES 进行数据存储(很多日志组件可以直接写数据到 ES ),Kibana 安装在公司开发环境进行查询,ES 单节点占用内存可以控制在 0.5G 左右,日志不要保存太长时间,过期的自动删除,应该没啥问题
    Jackeriss
        38
    Jackeriss  
       2020-07-30 16:13:29 +08:00
    sentry 不用自己搭,注册个账号就可以用了
    print1024
        39
    print1024  
       2020-07-30 17:05:34 +08:00
    阿里云日志服务 每月免费额度 500M
    tctc4869
        40
    tctc4869  
       2020-07-30 17:45:52 +08:00
    @cszchen 首先存储和显示_收集是三个不同东西。存日志的话,数据量不大的话,又想让多人远程访问查看数据,日志存储也可以不用 e 。sql 数据库就可以。如果要显示,你找个数据可视化工具,连接数据库编写 sql 查看内容就行

    关于 sql 数据库的数据可视化工具,你可以看看这个 https://www.v2ex.com/t/692222#reply29
    GM
        41
    GM  
       2020-07-30 17:49:04 +08:00
    @etmad graylog 试用的时候,怎么都收不到信息,放弃了
    qW7bo2FbzbC0
        42
    qW7bo2FbzbC0  
       2020-07-30 19:15:28 +08:00
    @ttyn graylog 是把 elk 包成一个方案,还是说用的另一套技术栈
    ichou
        43
    ichou  
       2020-07-30 20:37:40 +08:00 via iPhone
    @jswh 土豪 您好
    davidqhr
        44
    davidqhr  
       2020-07-31 09:27:11 +08:00
    prometheus loki grafana
    Maco
        45
    Maco  
       2020-07-31 11:18:23 +08:00
    loki
    Maco
        46
    Maco  
       2020-07-31 11:18:36 +08:00
    ErwinCheung
        47
    ErwinCheung  
       2020-08-24 15:49:08 +08:00
    @iyaozhen 这个感觉有点夸张
    kiddingU
        48
    kiddingU  
       2020-10-09 15:40:56 +08:00
    loki 咯,比 efk 好用一些
    mikulch
        49
    mikulch  
       2020-10-14 16:24:41 +08:00 via iPhone
    @rockxsj 大佬,https://www.v2ex.com/t/714882#reply0 请问我这个 loki 的无法搜集日志的问题是什么原因呀。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   985 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 19:16 · PVG 03:16 · LAX 11:16 · JFK 14:16
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.