这是一个创建于 771 天前的主题,其中的信息可能已经有所发展或是发生改变。
公司做项目,项目的数据量级特别大,之前通过 python 搞的单台服务器的处理和业务逻辑代码处理不动了,所以上了 spark ,我之前对 spark 的理解是计算,基本就是提取一些字段,做指标统计,或者对海量数据做个清洗。
但是对于业务逻辑,之前用单机版实现的,基本都是 python 脚本去写 if else ,数据量小,也是实时处理的,对于需要缓存的内容就直接扔到 redis 里面了,但是 spark 或者 flink 去做这个事情,好像不容易写这种逻辑代码,缓存的话只是在用 flink 自身的状态,也不适合频繁和 es 、redis 这种数据库实时交互。
想请教下大家,对于传统的这种复杂的业务逻辑处理,当数据量巨大的时候,flink/spark 可以替代之前的框架完成吗?还是说这两个框架其实还是多用于统计分析。
|
|
1
liprais 2022-10-25 18:05:24 +08:00 via iPhone
你自己在算子里面调 redis 没人拦着你
|
|
|
2
dtgxx 2022-10-25 18:08:15 +08:00
@ liprais #1 好像悟了,直接用 flink 写复杂业务逻辑应该也没问题
|