Daily Update incremental export

[hlstwizard]

请问是否能够增量导出qlib格式的数据呢？

我现在的流程是从dolthub上更新数据，可能一周更新一次，如果想导出最新的数据，是否必须全量导出？
如果不是必须的话，怎样增量导出？（如果不支持，我可以提供PR，但是需要一些指引。）

[chenditc]

这个想法很好，目前不支持。主要难点在qlib的数据格式本身对增量更新并不是很友好。qlib的feature数据其实是一个numpy array的 binary dump，这样设计可以让数据加载比较快，但是也比较难更新。如果要增量更新的话，可能有两种方案可以尝试的，一种是分析 numpy areay dump的格式，看是否可以增量把新的数值直接append到文件里，这个会比较难。另一个是增量导出中间格式的增量数据，下载后再合并到原路径里，但是这个增量的数据格式需要设计一下。

两种方案最好都跟qlib官方社区一起合作解决，这样可以获得后续长期的支持。