-
请问一下我目前使用场景为 将大量小文件(小于 4096KiB)进行储存,我想使用juicefs将其合并成多个block,以减少文件系统中的实际文件数量。请问juicefs可以这样做吗,我开始使用时看到不足4096KiB的小文件都被直接储存而不是合并成block了。 |
Beta Was this translation helpful? Give feedback.
Replies: 2 comments 2 replies
-
FlushTo、FlushData和NewDataWriter时候会创建一个线程后台执行flushAll,这三个方法是将缓存页的数据写入Block的入口。flushAll方法会有一个后台线程一直轮询,满足以下几个条件时候,会将缓存页的内容写入Block:当前时间 - sliceWriter开始时间 > 5s 或 当前时间 - sliceWriter修改时间 > 1s 或 当前总共slice > 800 时候「还有几个条件我感觉JuiceFS是为了提高写入Block的效率,随缘加的几个条件」。这些都不会管写入Block的数据是否满4MB,还是会等待其他数据来凑4MB,会直接写入返回。 |
Beta Was this translation helpful? Give feedback.
-
JuiceFS 不会对不同文件进行合并,只会对「同一个文件」的不同部分进行合并。 |
Beta Was this translation helpful? Give feedback.
JuiceFS 不会对不同文件进行合并,只会对「同一个文件」的不同部分进行合并。