使用MySQL进行juicefs bench 测试，write small file和官网测试有4倍的差距

[davidzhangbj]

测试集群配置：阿里云 ecs.c6.2xlarge 8C16G
JuiceFS版本：1.22

MySQL版本：8.0.32，使用Docker部署在同一个服务器上

测试命令及结果：

write small file 只有21.6 files/s，官网有82.30 files/s
有什么建议吗，怎样调整才能达到官网的水平？

[frostwind]

感觉你的mysql meta engine的速度不是很理想，update meta都11ms了。试试看mysql用innodb_flush_log_at_trx_commit=0 或者2 看看有没有改善？
下面是我的用on-prem ceph + postgresql as meta engine的测试

# juicefs bench -p 4 /shared/jfs/myjfs/
  Write big blocks: 4096/4096 [==============================================================]  1375.3/s used: 2.978199224s
   Read big blocks: 4096/4096 [==============================================================]  882.6/s  used: 4.640805437s
Write small blocks: 400/400 [==============================================================]  246.3/s  used: 1.624222509s
 Read small blocks: 400/400 [==============================================================]  1482.2/s used: 270.002264ms
  Stat small files: 400/400 [==============================================================]  5257.4/s used: 76.148367ms 
Benchmark finished!
BlockSize: 1.0 MiB, BigFileSize: 1.0 GiB, SmallFileSize: 128 KiB, SmallFileCount: 100, NumThreads: 4
Time used: 14.8 s, CPU: 176.1%, Memory: 549.6 MiB
+------------------+------------------+---------------+
|       ITEM       |       VALUE      |      COST     |
+------------------+------------------+---------------+
|   Write big file |    1376.60 MiB/s |   2.98 s/file |
|    Read big file |     882.75 MiB/s |   4.64 s/file |
| Write small file |    246.4 files/s | 16.23 ms/file |
|  Read small file |   1487.5 files/s |  2.69 ms/file |
|        Stat file |   5305.9 files/s |  0.75 ms/file |
|   FUSE operation | 75908 operations |    0.36 ms/op |
|      Update meta |  6603 operations |    1.10 ms/op |
|       Put object |  1424 operations |   25.09 ms/op |
|       Get object |  1024 operations |   63.51 ms/op |
|    Delete object |  1424 operations |    2.64 ms/op |
| Write into cache |   400 operations |    1.04 ms/op |
|  Read from cache |   400 operations |    0.23 ms/op |
+------------------+------------------+---------------+

[davidzhangbj]

调整完参数后还是无法达到官网的标准,可否将官网的mysql调整参数公布呢?

[frostwind]

你这改善了一倍 但是put get延迟增加了 建议元数据数据库单独部署一个机器 因为跑juicefs bench的机器很耗cpu 会影响到元数据的服务 另外把回收站关了试试看 还可以在跑bench的时候结合juicefs profile 看看每种io操作的时间消耗

[davidzhangbj]

感谢，将元数据库单独部署一台机器确实提升了write small file的速度，但是数值仍然是显示黄色的，可以问下你测试使用的配置吗？

[frostwind]

我没有用cloud环境，我的是ceph作为后端对象存储， PostgreSQL作为元数据存储。
从你几次测试来看，感觉使用的阿里云的对象存储的性能不是很稳定，PUT/GET延迟和读写大文件带宽在最新的测试里对比第一次测试都变差了一倍。包括read small file 也出现了一定的恶化。
write small file一直在改善，应该是受益于元数据DB的分离。
还可以尝试如下：

1. 我用的mount option juicefs mount -d -o allow_other --backup-meta 0 --cache-partial-only --buffer-size=2000
   buffer-size=2000可以允许你在并发读大文件的时候能飙到更高的带宽 ， cache-partial-only 在读大文件的时候可以只缓存小块的数据
2. 使用juicefs最新版main branch客户端，1.2.2之后juicefs做了很多性能改善都在main branch里，提升很明显。
3. juicefs profile看一下具体慢在哪
4. 多测试几次，取平均值也好，目测找到一个比较普遍的测试结果也好，总感觉你的测试结果很不稳定，尤其是对象存储这块

[davidzhangbj]

👍，使用了你的挂载参数后，write small file 达到了官网的标准