nvidia-smi显示的显存占用和torch.cuda.max_memory_reserved显示的不一致

[isky-cd]

镜像是你们提供的cuda12的镜像
MODEL_BASE=/mnt/jfs-hdd/share/models/hunyuan-ckpts/HunyuanVideo torchrun --nproc_per_node=${num_gpus} sample_video.py
--model-base /mnt/jfs-hdd/share/models/hunyuan-ckpts/HunyuanVideo
--dit-weight /mnt/jfs-hdd/share/models/hunyuan-ckpts/HunyuanVideo/hunyuan-video-t2v-720p/transformers/mp_rank_00_model_states.pt
--video-size 1280 720
--video-length 129
--num-videos 1
--infer-steps 20
--prompt "A cat walks on the grass, realistic style."
--flow-reverse
--seed 42
--ulysses-degree 8
--ring-degree 1
--save-path ./results
我的运行脚本如上：
八卡：ulysses-degree 8 ring-degree 1
torch.cuda.max_memory_reserved显示的显存占用：

nvidia-smi显示的最大显存占用：

四卡：ulysses-degree 2 ring-degree 2
torch.cuda.max_memory_reserved显示的显存占用：

nvidia-smi显示的最大显存占用：

麻烦问题下为什么会出现这种情况吗？

还有我想请问一下上面的60G和45G的运行的是什么配置呢？