这是一个创建于 1136 天前的主题，其中的信息可能已经有所发展或是发生改变。
如题，就是简单的接收前端的埋点上报，计数，主要是一堆文章，要记录每篇文章的推荐 UV 、浏览 UV，还能统计所有文章的 UV，最后统计展示出来，都是以日为维度，请教大佬们，用什么做？ redis? mysql? elasticsearch?
第 1 条附言 · 2021-10-22 14:04:11 +08:00
完了，我感觉偏了，我标题写差了，其实是 app 访问行为的统计，不是网站。app 埋点上报，后端统计，大佬们，
 |
1
Oktfolio 2021-10-22 10:48:15 +08:00
ElasticSearch, MongoDB
|
 |
2
GM 2021-10-22 10:50:09 +08:00  1
motamo
|
 |
5
eason1874 2021-10-22 10:58:08 +08:00
PV/UV 统计的数据库好像比较流行用 PostgreSQL
别用 matomo，开源版很吃资源，付费版不了解 |
 |
6
hidemyself 2021-10-22 10:58:20 +08:00
我们之前是用 redis 做的
|
 |
8
liujinayu4303 2021-10-22 11:04:17 +08:00
redis hyperloglog 了解下
|
 |
9
Aliberter OP @hidemyself redis 计数很方便，但是比如我要汇总是不是比较麻烦啊，比如获取所有文章的总 UV 这种，还有按日期分组筛选这些，
|
|
10
Aliberter OP @liujinayu4303 我还在纳闷 redis 咋做，原来是有更高级的算法，多谢大佬，我去搜搜
|
 |
11
feitxue 2021-10-22 11:10:04 +08:00
必须要自研吗？
如果不是，接入三方的应该会更快。 百度 cnzz 腾讯 谷歌 都有 |
 |
12
abigeater 2021-10-22 11:11:20 +08:00
redis->定时写回数据库
|
|
13
Aliberter OP @feitxue 小公司，自己写来的快点哈哈~其实整个统计的体量也不是太大，自己写的就能扛得住，然后主要是针对一些自定义需求开发~
|
 |
14
kinge 2021-10-22 11:14:05 +08:00
直接用现成的统计产品，自己写的统计不准确
|
|
16
feitxue 2021-10-22 11:18:27 +08:00
建议你调研一下大厂现有的统计产品的功能，再决定是否自研。
|
 |
19
thetbw 2021-10-22 11:25:05 +08:00
上家公司的是直接接入腾讯有数
|
 |
20
lithiumii 2021-10-22 11:34:37 +08:00 via Android
建议接入 sass
虽然自建 matomo 可以做 |
|
21
Aliberter OP 完了，我感觉偏了，我标题写差了，其实是 app 访问行为的统计，不是网站。app 埋点上报，后端统计，大佬们，
|
 |
22
hrdslin 2021-10-22 12:03:51 +08:00
直接上友盟
|
 |
23
cowcomic 2021-10-22 12:38:15 +08:00
友盟解决
|
 |
24
chenstor 2021-10-22 12:55:35 +08:00
友盟或者诸葛
|
 |
25
qq1340691923 2021-10-22 13:12:12 +08:00
thinkdata，神策数据，用完你会回来感谢我的
|
|
26
qq1340691923 2021-10-22 13:12:36 +08:00
thinkingdata，神策数据，用完你会回来感谢我的
|
 |
28
wellsc 2021-10-22 13:40:40 +08:00
redis 呗，也不是很复杂的业务
|
 |
29
MineDog 2021-10-22 16:03:00 +08:00
简单的 redis 的 HLL 就够了
|
|
30
MineDog 2021-10-22 16:03:15 +08:00
当然 bitmap 也可以
|
 |
31
fuchaofather 2021-10-22 17:24:01 +08:00
比较麻烦。建议还是使用现成服务，业务量较大的话可能需要依赖大数据环境。说一下我们以前的整体架构:
前端埋点 -> nginx -> tomcat 集群（简单处理解压过滤等）-> kafka -> 多应用点同时消费写到本地文件 -> 上传到 hive 日期分区表 -> spark 计算 -> 写入 hbase （用户 id 使用 bitmap) -> phoniex 查询（ redis 缓存） |
 |
32
ericls 2021-10-23 07:02:30 +08:00 via iPhone
clickhouse
|
 |
33
duanqiaoyanyu 2021-10-23 14:11:04 +08:00
bigmap Hyperloglog
|
 |
34
efaun 2021-10-24 14:23:09 +08:00
随机数
|
Select Language