V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
lianghui
V2EX  ›  程序员

sqlite3 干 2kw 数据 性能如何

  •  
  •   lianghui ·
    whiteclover · 2015-04-09 21:00:30 +08:00 · 9374 次点击
    这是一个创建于 3527 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在有个数据仓库大概10亿数据,数据分析筛选后大概2kw数据,曾经干过100w的sqlite3内存模式查了四个group by用时总共1分钟左右。如果是2kw数据性能如何,请教下。

    第 1 条附言  ·  2015-04-10 12:34:32 +08:00
    今天进一步做需求,发现最后需要直接把另一张表3kw数据cache到内存加速10亿数据刷选,使用sqllite3作为内存cache,另外输出2kw左右的中间数据用于数据分析,数据量不大,不想上spark。 发现几千万的级别的使用sqlite3做数据分析可行,分析数度也够快,当然费些内存是必要的,也进一步鉴证为毛那个ngxtop用那么多人用。
    29 条回复    2015-04-10 12:15:04 +08:00
    usedname
        1
    usedname  
       2015-04-09 21:05:11 +08:00
    zhao si
    Septembers
        2
    Septembers  
       2015-04-09 21:06:38 +08:00
    建议用PgSQL
    RangerWolf
        3
    RangerWolf  
       2015-04-09 21:08:04 +08:00
    no zuo no die ?
    msg7086
        4
    msg7086  
       2015-04-09 21:16:07 +08:00
    算不算年度最佳笑话?

    用一下pg/my又不麻烦……
    clino
        5
    clino  
       2015-04-09 22:16:51 +08:00
    试一下不就知道了,造这么大的数据出来测试一下嘛
    其实sqlite性能挺不错的,当然并发高肯定不行
    Septembers
        6
    Septembers  
       2015-04-09 22:18:47 +08:00
    @msg7086 虽然SQLite设计达到了2T(README上是这么说的)但是SQLite的实现远远达不到这种能力
    liuhaotian
        7
    liuhaotian  
       2015-04-09 22:20:38 +08:00
    作死
    int64ago
        8
    int64ago  
       2015-04-09 22:30:47 +08:00
    一个嵌入式用的数据库你确定你要这么做?
    chenjf2k
        9
    chenjf2k  
       2015-04-09 22:30:54 +08:00
    我也想知道答案。

    我的预想是应该在1kw下应该可以承受。只要合理索引,不要全表扫描。

    Sqlite有个好处:不用时不占内存,不像SQL Server或其他库,一装载内存就占用很多。
    em70
        10
    em70  
       2015-04-09 22:37:17 +08:00 via Android
    跑在SSD上应该不至于死
    kslr
        11
    kslr  
       2015-04-09 22:37:21 +08:00 via Android
    这点内存换来的可不是一点方便
    lianghui
        12
    lianghui  
    OP
       2015-04-09 23:03:49 +08:00   ❤️ 1
    @kslr @clino @em70 @chenjf2k 亲测,2kw数据塞内存,一个group by 加索引2秒搞定。可以达到数据报表生成要求,一次性数据6字段大概耗费4g内存。
    no13bus
        13
    no13bus  
       2015-04-09 23:19:36 +08:00
    leveldb
    zhujinliang
        14
    zhujinliang  
       2015-04-09 23:58:02 +08:00 via iPhone
    simplecd好像用的sqlite,印象中作者写过文章讨论性能
    wolfan
        15
    wolfan  
       2015-04-10 00:05:42 +08:00
    小身板扛大旗,作!作!
    Earthman
        16
    Earthman  
       2015-04-10 00:28:03 +08:00
    @zhujinliang 改mongodb了
    NeoAtlantis
        17
    NeoAtlantis  
       2015-04-10 05:15:26 +08:00
    那啥,上次酒店什么的那个数据就是2kw条。
    当时好象是在虚拟机里装微软的SQL Server导出的。。。
    xiaogui
        18
    xiaogui  
       2015-04-10 05:23:04 +08:00
    四个group by...
    zspsky
        19
    zspsky  
       2015-04-10 06:55:44 +08:00
    太大的数据不要用.就把它当作access处理吧。access能处理的sqlite的也可以。
    zspsky
        20
    zspsky  
       2015-04-10 06:59:01 +08:00
    sqlite文件一大。真的是要哭死。
    jamiesun
        21
    jamiesun  
       2015-04-10 08:12:08 +08:00
    绝对没有问题,以空间换时间。
    iam36
        22
    iam36  
       2015-04-10 08:38:11 +08:00
    如果在内存里面跑 ,估计比 更大的DBMS要快,再不济不会更慢。

    等你测试结果。
    cchange
        23
    cchange  
       2015-04-10 08:55:20 +08:00
    simplecd主数据库为sqlite,绝对是第一手应用经验啊
    Actrace
        24
    Actrace  
       2015-04-10 09:05:11 +08:00
    sqlite的优势在于便携。
    不过这并不达标它性能不行。
    northisland
        25
    northisland  
       2015-04-10 10:17:23 +08:00
    感觉挺喜感,

    有人知道sqlite的查找复杂度大体是多少,其他的呢?
    northisland
        26
    northisland  
       2015-04-10 10:25:51 +08:00
    刚看到一篇对比postgresql>sqlite>mysql的文章,2333

    http://blog.csdn.net/aw344/article/details/12434295
    Admstor
        27
    Admstor  
       2015-04-10 10:28:23 +08:00
    simplecd数据量并没有多少吧

    统计信息
    全站资源数:464949
    全站文件数:10974809
    按资源也就50W不到,按文件数才达到千万级别
    顺便...已经换MongoDB了
    idblife
        28
    idblife  
       2015-04-10 11:28:45 +08:00
    我就想问一句,你为啥用sqlite?
    no zuo no die
    GuangXiN
        29
    GuangXiN  
       2015-04-10 12:15:04 +08:00   ❤️ 1
    不知道楼主是想做工程方案还是想搞学术实验
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5546 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 03:40 · PVG 11:40 · LAX 19:40 · JFK 22:40
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.