V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
liuidetmks
V2EX  ›  问与答

统计类需求把代码弄的乱,How do yo do ?

  •  
  •   liuidetmks · 2021-12-31 16:56:38 +08:00 · 2407 次点击
    这是一个创建于 1064 天前的主题,其中的信息可能已经有所发展或是发生改变。

    你们是怎么处理的?

    15 条回复    2022-01-01 03:29:31 +08:00
    LowBi
        1
    LowBi  
       2021-12-31 17:03:12 +08:00 via Android
    同求解,目前就是这一块 SQL 那一块 SQL ,把结果返回前端
    kappa
        2
    kappa  
       2021-12-31 17:19:13 +08:00   ❤️ 1
    gaobh
        3
    gaobh  
       2021-12-31 17:30:08 +08:00
    maltoze
        4
    maltoze  
       2021-12-31 17:31:57 +08:00
    ikaros
        5
    ikaros  
       2021-12-31 17:47:01 +08:00   ❤️ 1
    I'm fine, thank you and you?
    liuidetmks
        6
    liuidetmks  
    OP
       2021-12-31 18:23:30 +08:00
    @kappa why so serious ~
    oneisall8955
        7
    oneisall8955  
       2021-12-31 19:33:23 +08:00 via Android
    数仓出,没有条件就新开项目专门做统计,跑 job 等
    ETiV
        8
    ETiV  
       2021-12-31 19:59:03 +08:00 via iPhone
    把分析类的工作迁移进 BI 工具,比如 metabase

    然后使用 terraform 管理各种 sql 查询和面板,比如 https://registry.terraform.io/providers/bilenkis/metabase/latest/docs
    CEBBCAT
        9
    CEBBCAT  
       2021-12-31 20:03:15 +08:00
    没看懂啊,统计类需求写起来很恶心没错,但怎么会把代码弄乱呢?
    zhazi
        10
    zhazi  
       2021-12-31 21:33:09 +08:00
    报表业务一般都是无视建模。透视数据。所以通过封装 view object 直接写 sql 展示即可
    如果在报表业务中涉及汇总 聚合 各种函数建议做数仓
    dji38838c
        11
    dji38838c  
       2021-12-31 21:40:00 +08:00
    How do yo do
    Senorsen
        12
    Senorsen  
       2021-12-31 23:36:33 +08:00
    数据量大,就上 Flink Spark 等跑 BI 的 SQL
    数据量小,就用 metabase 接上 MySQL 从库建报表
    sujin190
        13
    sujin190  
       2021-12-31 23:58:40 +08:00   ❤️ 1
    中小型项目这个问题真挺难解的,实际项目中,统计需求基本难有规划,基本需要啥你就给我出啥,这个主要还是一般产品似乎都搞不定这个,运营知道要啥数据但是基本也搞不定组织规划的问题,大多数公司基本又觉得专门的数据开发岗多余,确实不好解决,此外不重视自然研发这边难有统一规划,比如写个脚本不管出错重入啥的,所以啊,想要做的好,就得重视按正常产品流程来,独立的数据统计项目,不仅看眼下需求,要做良好得分层设计,完善的出错恢复监控流程

    其实统计和正常产品两个逻辑是很不一样的,不应该在同一套数据表上实现两个逻辑,当然很多人觉得平时需求开发都完不成,哪有功夫仔细规划,其实如果仔细想想看的话就发现这个并不会花很多功夫,数据只要做好了数据拆分重组的逻辑,剩下基本都是数据同步的过程了,逻辑简单很多,平时多注意点,慢慢 bi 的逻辑也就建立起来了,否则就只会越来越乱

    之前我们的项目也这样,简直坑死,搞到后面数据需求多了,感觉一大半时间都是在导数据,太折腾人了,但是慢慢注意了一些,其实好很多,之前做过一个项目,用 json 来定义数据同步计算过程,其本身也限制了一次只能同步一层的数据,既是限制也是规范,算是参考吧

    https://github.com/snower/syncany
    yjs778
        14
    yjs778  
       2022-01-01 00:39:17 +08:00
    I’m fine. thank you, and you?
    Samuelcc
        15
    Samuelcc  
       2022-01-01 03:29:31 +08:00 via Android
    可以尝试直接打到日志里然后进行异步日志解析收集统计
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3697 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 10:28 · PVG 18:28 · LAX 02:28 · JFK 05:28
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.