有一次和一个硅谷的哥们儿聊项目,电商类的项目,azure 上跑着。
他说他们分页有点慢,我问了下分页方法,大概实现如下:
大概 30%的 hot 数据,全部加载到 redis ,加上多级缓存,缓存没有,再去 mysql 查,mysql 分库分表。
其中有个神奇的地方,比如排序,按价格排序,每页 20 条,缓存命中了 15 条,由于剩下的 5 条是分散在数据库的,并不知道在哪边,所以他们做了一个算法,准确的计算出这 5 条数据在数据库中的位置,直接 select, 计算会慢一点。
我以前没有接触过这种用法,数据量大了,搜索直接上 es ,离线分析 clickhouse 一把梭,这种计算的方法,没有遇到过,超出认知了。
有没有知道这种方法的兄弟,解说一下的?
或者说电商的分页,和一般社交行业的分页,有什么不一样的地方?
1
seedhk 276 天前
难道他的分库分表依据是根据价格来的?
|
2
oneisall8955 275 天前 via Android
维护起来不头痛吗?
|
3
oneisall8955 275 天前 via Android
@seedhk 价格会变,不可能用价格分库分表吧
|
4
AlohaV2 275 天前
但感觉如果是一个价格的区间,好像可以分?因为一件商品的价格变动,感觉不会超过某个量级。并且一般来说越贵的数量越少。
|
5
sijue 275 天前
剩下的五条记录如果有商品 id ,大概率根据商品 id 分表
|
6
PythonYXY 275 天前
按价格排序,怎么知道第几页哪些是在缓存中,哪些是在数据库?不是很懂。
|
7
xuanbg 275 天前
尽量不要分表,数据多了可以把冷数据归档处理。
|
8
yagamil 275 天前
这种算法 在 es ,mongodb 里面的切片里也有用到把,根据分布的位置,比如第 x 个表 x 分区,写到生成的数据的 id 或某个字段里面
|
9
dododada OP 具体的算法我不了解,那个哥们儿说很复杂,算法本身已经影响到查询性能了。
有没有电商行业的兄弟,来解个惑? gpt 说后面的 5 条数据,用 WHERE price > last_record_price 就行 ... |
10
8355 275 天前
按照我的理解,不管是 redis sorted set 还是其他什么方案,本质上是按照正确的方式排序并分页,获取到排序之后其实一组分页的商品 id ,之后批量根据商品 id 进行获取商品详情并按顺序返回即可。
|
11
markgor 275 天前
据我所知京东淘宝的按价格排序从未正确过
|