Synchronize device when mixtral expert splitting

[EricLBuehler]

Refs #352.

[github-actions]

Code Metrics Report

  ===============================================================================
 Language            Files        Lines         Code     Comments       Blanks
===============================================================================
 Dockerfile              1           34           25            0            9
 Happy                   1          442          369            0           73
 JSON                    9           21           21            0            0
 Python                 31         1217         1038           37          142
 TOML                   16          440          400            1           39
-------------------------------------------------------------------------------
 Jupyter Notebooks       1            0            0            0            0
 |- Markdown             1           60           30           22            8
 |- Python               1           96           87            1            8
 (Total)                            156          117           23           16
-------------------------------------------------------------------------------
 Markdown               16         1146            0          844          302
 |- BASH                 5          100           97            0            3
 |- Python               6          122          110            0           12
 |- Rust                 2           80           72            3            5
 (Total)                           1448          279          847          322
-------------------------------------------------------------------------------
 Rust                  115        34400        31151          584         2665
 |- Markdown            57          643           13          596           34
 (Total)                          35043        31164         1180         2699
===============================================================================
 Total                 191        37700        33004         1466         3230
===============================================================================