一个写多,读取较少的环境。一分钟新建几万个文件,文件大小 10k 以内。读取相对向较少。
目前总体不到 20G.
可以接受短时间( 5 分钟以内)的少许文件丢失。
目前是用的阿里云 oss 因为写入频率太高,费用比较高。上个月阿里云故障的时候,增加了华为和腾讯的对象储存做备份。也只是定时同步了一下,没有启用。
自建 minio 感觉有一点太重了,不知道有没有别的轻量的方案。
或者有没有让两家云储存合并到一起,两边数据基本一致,只要有一个可用就可用的方法。最好还有本地读写缓存。。。
研究了一下 rclone 的 union ,但是好像 他写就是只往第一个非 ro nc 的后端写,没测试出来第一个后端不可用的时候他是什么逻辑。
1
knives 358 天前
自建跨云的对象存储,对空间没有太多要求的话,可以试试 https://github.com/deuxfleurs-org/garage
本地读写缓存就是另外一种东西了。可以试试 https://juicefs.com/zh-cn/ |
2
ljn95869 357 天前 via Android
我用的又拍云,你可以试试能不能满足你的要求
|
3
joyanhui OP |
5
rekulas 357 天前 1
我觉得可以设置一家相对较稳的作为存储并开 cdn,再找一家备用平台开 cdn 并设置源为第一家并预缓存文件就行了
就算第一家出问题一般也会 1-3 内恢复,第二家也能用 |
6
joyanhui OP @knives juicefs 把元数据储存到本地的 redis 中,然后在首次读取的时候会从其他的对象储存里面拉取,如果元数据没发生变化,第二次读取就从本机缓存里面拉取。 写入的时候,也是先写到本地,然后再异步到其他对象储存 。 是这个意思吗
|