本地数据?

[dindom999]

很不错,但是看了一下源码,貌似没有维护本地数据的模块.对于大量细粒度数据的回测,没有本地数据很慢.比如要回测过去10年1分钟数据(更细的还有TICK...)
是不是应该弄一个HDF5文件,然后弄一个模块每天或实时维护它?

[wondereamer]

我也有添加hdf5模块的想法，目前本地数据维护的比较好的的是csv, sqlite部分接口我还没改完，由于时间原因，还没有开发本地数据实时维护的功能。

[dindom999]

A股每天TICK的NUMPY数据量大约2G,CSV或SQLITE都无法处理

2016-03-27 10:28 GMT+08:00 wondereamer [email protected]:

我也有添加hdf5模块的想法，目前本地数据维护的比较好的的是csv, sqlite部分接口我还没改完，由于时间原因，还没有开发本地数据实时维护的功能。

—
You are receiving this because you authored the thread.
Reply to this email directly or view it on GitHub
#19 (comment)

[wondereamer]

sqlite 无法处理，你是指效率，还是指单个sqlite的文件有2gb上限？

[dindom999]

效率很低

2016-03-27 16:31 GMT+08:00 wondereamer [email protected]:

sqlite 无法处理，你是指效率，还是指单个sqlite的文件有2gb上限？

—
You are receiving this because you authored the thread.
Reply to this email directly or view it on GitHub
#19 (comment)

[wondereamer]

就部署和效率的平衡来说，hdf5是个不错的选择，但是我目前没有时间开发这个，因为系统还有优先级更高的任务。sKabYY 在开发mongodb模块，这个可以一定程度上解决问题。如果你感兴趣，可以试试开发基于hdf5的数据模块：P