预训练阶段收敛问题

[hanfeng0409]

您好，我想请教一下，预训练阶段的loss一般会收敛到多少？我现在在自己的数据上跑预mae-b的预训练，发现loss基本在0.2左右就不再下降了。然后把重建的结果绘制在原图上，发现都比较模糊。

[XuecWu]

@hanfeng0409 您好，请问您是在多大规模的数据集上跑了多少epoch后达到收敛呢

[hanfeng0409]

@hanfeng0409 您好，请问您是在多大规模的数据集上跑了多少epoch后达到收敛呢
感谢您的回复。
大概3000个 数据上，现在是设置了1200个epoch，实际跑到了200个epoch，前30个epoch的loss很快从0.8降到了 0.2左右 后100个epoch loss在0.18附近震荡。