ViT Bサイズの学習

[SakodaShintaro]

実験目的

ViTのサイズSとサイズBで性能に差が出るか確認する。

サイズS : 12ブロック 384ch パラメータ数 21,371,598
サイズB : 12ブロック 768ch パラメータ数 85,210,446

実験条件

学習にはdlshogi_with_gct-***.hcpeを使用
検証にはfloodgate_2019-2021_r3500-001.hcpeを使用

項目	値
学習ステップ数	60K
base_learn_rate	0.01
weight_decay	0.0001
batch_size	256

実験結果

Policy損失

Value損失

結論

サイズBの方が良い性能になった。