您好,登錄后才能下訂單哦!
這篇文章將為大家詳細講解有關Python數據存儲之h5py有什么用,小編覺得挺實用的,因此分享給大家做個參考,希望大家閱讀完這篇文章后可以有所收獲。
1、Python數據存儲(壓縮)
(1)numpy.save , numpy.savez , scipy.io.savemat
numpy和scipy內建的數據存儲方式。
(2)cPickle + gzip
cPickle是pickle內建的數據存儲方式,gzip是常用的文件壓縮模塊。
(3)h6py
h6py是對HDF5文件格式進行讀寫的python包,關于h6py更多介紹與安裝,參考官方網站
關于HDF5,參考官方網站。:
一個HDF5文件就是一個由兩種基本數據對象(groups and datasets)存放多種科學數據的容器:
HDF5 dataset: 數據元素的一個多維數組以及支持元數據(metadata); HDF5 group: 包含0個或多個HDF5對象以及支持元數據(metadata)的一個群組結構;
總之,dataset是類似于數組的數據集,而group是類似文件夾一樣的容器,存放dataset和其他group;group和dataset在h6py中的使用有點類似于詞典和Numpy中數組的用法。
h6py的優勢:速度快、壓縮效率高,總之,numpy.savez和cPickle存儲work或不work的都可以試一試h6py!
2、h6py讀取和存儲數據示例
import h6py X= np.random.rand(100, 1000, 1000).astype('float32') y = np.random.rand(1, 1000, 1000).astype('float32') # Create a new file f = h6py.File('data.h6', 'w') f.create_dataset('X_train', data=X) f.create_dataset('y_train', data=y) f.close() # Load hdf5 dataset f = h6py.File('data.h6', 'r') X = f['X_train'] Y = f['y_train'] f.close()
關于“Python數據存儲之h5py有什么用”這篇文章就分享到這里了,希望以上內容可以對大家有一定的幫助,使各位可以學到更多知識,如果覺得文章不錯,請把它分享出去讓更多的人看到。
免責聲明:本站發布的內容(圖片、視頻和文字)以原創、轉載和分享為主,文章觀點不代表本網站立場,如果涉及侵權請聯系站長郵箱:is@yisu.com進行舉報,并提供相關證據,一經查實,將立刻刪除涉嫌侵權內容。