V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
yngzij
V2EX  ›  问与答

各位大佬帮小弟想想办法吧,mongo 同步线上数据库到本地 mongo

  •  
  •   yngzij · 173 天前 · 745 次点击
    这是一个创建于 173 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前是阿里上面的 mongo 集群,领导想把数据从线上数据库增量同步到线下做数据分析,但是线下的 mongo 数据库加入不了到阿里云 mongo 的副本集合(阿里删除了 rs.add()命令),领导让我拿方案,目前想到的是解析 oplog ,问下大佬这是不是最优解呀。

    感谢大佬了。

    7 条回复    2024-06-12 09:26:34 +08:00
    Sosocould
        1
    Sosocould  
       173 天前
    代上班可还行
    zhtyytg
        2
    zhtyytg  
       173 天前
    用云厂商定制镜像的人技术水准难以评估,给不了建议。
    如果是我的话,干脆导出数据库,重新买云服务,基于 linux 安装配置 mongo repl
    dropdatabase
        3
    dropdatabase  
       173 天前
    阿里云 dts ?
    wencan
        4
    wencan  
       173 天前
    上次同步 mongo 还是好几年前
    当时直接 dump
    后面,好像都是写程序比对再拉数据,写个任务,慢慢跑
    Mithril
        5
    Mithril  
       173 天前   ❤️ 1
    MongoDB 有 ChangeStream ,你直接用那个把变更发回本地的 ES 或者其他什么 OLAP 系统就行了。
    比如说你本地跑个程序,监听云服务里的 Change Steam 。但通常不会允许你直接访问云数据库,记得做好安全防护。
    虽说也是 oplog ,但没必要你手动去搞。
    nickyadance23
        6
    nickyadance23  
       172 天前
    就算能加副本,把线下节点加到线上集群风险也太大了
    yngzij
        7
    yngzij  
    OP
       172 天前
    @dropdatabase 领导不想花这个钱
    @Mithril 感谢老哥。
    @nickyadance23 确实。
    @wencan 这也可以。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2590 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 06:32 · PVG 14:32 · LAX 22:32 · JFK 01:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.