V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
dtgxx
V2EX  ›  问与答

大数据 Spark、Flink 对于复杂业务逻辑处理是否有些吃力

  •  
  •   dtgxx · 2022-10-25 18:02:05 +08:00 · 1067 次点击
    这是一个创建于 771 天前的主题,其中的信息可能已经有所发展或是发生改变。
    公司做项目,项目的数据量级特别大,之前通过 python 搞的单台服务器的处理和业务逻辑代码处理不动了,所以上了 spark ,我之前对 spark 的理解是计算,基本就是提取一些字段,做指标统计,或者对海量数据做个清洗。
    但是对于业务逻辑,之前用单机版实现的,基本都是 python 脚本去写 if else ,数据量小,也是实时处理的,对于需要缓存的内容就直接扔到 redis 里面了,但是 spark 或者 flink 去做这个事情,好像不容易写这种逻辑代码,缓存的话只是在用 flink 自身的状态,也不适合频繁和 es 、redis 这种数据库实时交互。
    想请教下大家,对于传统的这种复杂的业务逻辑处理,当数据量巨大的时候,flink/spark 可以替代之前的框架完成吗?还是说这两个框架其实还是多用于统计分析。
    liprais
        1
    liprais  
       2022-10-25 18:05:24 +08:00 via iPhone
    你自己在算子里面调 redis 没人拦着你
    dtgxx
        2
    dtgxx  
    OP
       2022-10-25 18:08:15 +08:00
    @liprais #1 好像悟了,直接用 flink 写复杂业务逻辑应该也没问题
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3489 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 11:12 · PVG 19:12 · LAX 03:12 · JFK 06:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.