请教：为何重复执行时， HDF5 文件会越来愈大？( Python )

h5 = pd.HDFStore('test_c4.h5','a', complevel=4, complib='blosc')
for tpath in files[:5]:
    code = tpath.split('\\')[-1][:-4]
    data = pd.read_csv(tpath, encoding='gbk')
    
    
    h5['min1'+code] = data
h5.close()

上面这个是代码，当 h5 文件未创建时，这段测试代码生成的 H5 文件大约是 5M 左右，但当重复执行这个代码，其内部的 keys 并未发生变化，每一个主键下的数据大小读出来之后发现也没有变化。

但是文件大小确实在增加，每次增加 1~2M 。难道是垃圾信息吗？好奇怪，第一次用 HDF5 。

============== 另外，这个HD5文件也太大了。测试中的前5个文件平均每个csv文件100k左右，存储为hdf5之后，增加了10倍？

tpath

HDF5

代码

文件

14 条回复 • 2017-03-04 19:56:00 +08:00

justou

2017-03-03 10:33:26 +08:00

打开方式是'a', 跟 python 打开文件的模式'a'是一样的

kingmo888

2017-03-03 10:41:19 +08:00

@justou 是的。我是在测试追加来着。但实际上，并没有追加，只是把这个主键重新赋值了。从读取的数据上检查过。

而且，我做新的测试，就是 remove 所有的 keys ，使用 hdfview 查看确实数据都没有了。但是文件大小还是很大。

wh0syourda66y

2017-03-03 11:15:02 +08:00

你来这问对地方了,hdf5 是不会释放已用空间的,每次新增数据,都会重新申请一次,一个比较简单的解决方法是用自带的工具重新打包一下,叫做 ptrepack <新文件> <源文件> ,新文件的大小就是重新计算过的

kingmo888

2017-03-03 11:22:35 +08:00

@wh0syourda66y 感谢你。
刚试了下，
原始文件 1.5M ，没加任何参数的情况下， out.h5 大小为 2.2M 。。
压缩方式上貌似没有 zlib?

wh0syourda66y

2017-03-03 12:06:14 +08:00

当然可以修改压缩级别啊
ptrepack -h

.....
--complevel COMPLEVEL
set a compression level (0 for no compression, which
is the default)
--complib {zlib,lzo,bzip2,blosc,blosc:blosclz,blosc:lz4,blosc:lz4hc,blosc:snappy,blosc:zlib}
set the compression library to be used during the
copy. Defaults to zlib

kingmo888

2017-03-03 13:31:25 +08:00

@wh0syourda66y 3Q ，确实问对地方了。
ptrepack --complib=zlib test_c4.h5 --complevel=9 out.h5
ok.

还发现了一个问题，请教一下，是不是数据越多，在 put 的时候就越慢？感觉效率不够呀。
越来越慢

wh0syourda66y

2017-03-03 14:08:43 +08:00

@kingmo888 我感觉挺快的啊,几百万的读写数据都是毫秒级别的,它本身就是个内存型的操作

wh0syourda66y

2017-03-03 14:09:53 +08:00

@kingmo888 除非你逐条插入,推荐先用 pandas 组装好数据再保存

kingmo888

2017-03-03 14:14:51 +08:00

@wh0syourda66y 是这样的，原始文件是大约 3000*255 个 csv 的股票订单数据，

多进程>>>

处理函数(文件路径)：
读入一个文件，
处理为分钟数据，
进程锁开
塞入 hdf5
进程锁关

wh0syourda66y

2017-03-03 14:24:12 +08:00

HDFStore 自带文件锁,如果你在一个进程中打开,另一个进程是无法修改当前 hdf5 数据库的

kingmo888

2017-03-03 14:39:29 +08:00

@wh0syourda66y 那会报错吗？还是等待写入？如果报错的话，还是需要自己处理的哈，不然的话有的进程就写不进去了。

kingmo888

2017-03-04 08:44:19 +08:00

@wh0syourda66y 高手你好，我还有一个问题哈，就是存储的模式上，是所有数据都怼到一个表里好，还是分表保存（一个代码的数据一个表这种）

kingmo888

2017-03-04 10:26:34 +08:00

@wh0syourda66y 同时，我尝试了一下在 put 的时候指定 data_columns ，发现存储速度在下降，文件大小增加了将近一倍。

这种情况就很尴尬了。
每个 code 的数据单独存放，不用指明 index 和 data_columns 读取很快，可以读出来在内存里进行检索。唯一的问题就是通过 XX.keys()来获取所有表名会很慢。是否可以通过单独建一个表存放表名。嘿嘿。

所有 code 数据都存放到一个表里的话，为了检索，就必须使用 data_columns ，否则所有数据都读入内存的话既不科学又撑不住。

不知大神有什么好的思路？

wh0syourda66y

2017-03-04 19:56:00 +08:00

@kingmo888 咦,居然还在.我也是浅度使用而已,刚好碰到了你碰到过的问题哈,其他的你还得自己摸索~