Questions about training logs

[xxw11]

Hi, I want to know whether it is possible to get training information of each step including time cost, loss, learning rate?
Can I print the information or convey it to the tensorboard by adding a hook?

[FrankLeeeee]

Yes, this can be done regardless of whether you are using trainer or engine.

First of all, for general logging, you can use our distributed logger. The API documentation is here. The example can be found below.

from colossalai.logging import get_dist_logger
from colossalai.context import ParallelMode

logger = get_dist_logger()

# this will create a log file for each rank
logger.log_to_file('./)

# log on all ranks
logger.info('hello world')

# log on only rank 0 in the global process group
logger.info('hello world', ranks=[0])

# log on only rank 0 in the data-parallel process group
logger.info('hello world', ranks=[0], parallel_mode=ParallelMode.DATA)

[FrankLeeeee]

If you are using a trainer, you can add these hooks

from colossalai.trainer import hooks

hook_list = [
        hooks.LossHook(),
        hooks.LRSchedulerHook(lr_scheduler=lr_scheduler, by_epoch=True),
        hooks.LogMetricByEpochHook(logger),
        hooks.ThroughputHook(),
        hooks.LogMetricByStepHook(),
        hooks.TensorboardHook(log_dir='./tb_logs', ranks=[0]),
    ]

[xxw11]

Hi,我在训练中文的GPT2模型，事实上我在参加一个比赛，比赛评判标准是在一定范围内（loss<7 一般认为比较好达到），然后尽可能快的训练1B tokens，所以我才会出此下策

[feifeibear]

@xxw11 您的训练过程的一些参数配置似乎和常见的example并不相同，但是可以肯定的是采用zero应该和未采用zero的结果保持一致，这有可能是colossal-ai的bug导致的。
您可以把您的目前的问题代码放在github上？如果涉及私有数据可以换成公开的数据集，可以让colossal-ai开发人员帮助一起调试？

[xxw11]

好的，我十分愿意分享我的代码来使colossal-ai更加完善！
事实上我还是有一些十分困惑的地方，
1.多维tensor并行会使通信开销非常显著，那么它的优势是在于单机多卡（至少8张显卡）节省显存的，我这样的理解对吗？
2.多种并行策略给我带来了很多种选择也带来了疑惑，按照 @ver217 的说法，流水线并行主要用于节省通信成本，那么
我可以单台主机内4张卡2d tensor并行，主机间流水线并行
或者我单台主机4张卡2d tensor并行，主机间简单做数据并行
这两种方法似乎都可行，那种方法能够达到最快的效率呢？（pipeline并行和1d tensor并行似乎并不能体现colossal-ai的特点和优势，我的理解是colossal实现的多维tensor并行 是colossal十分占优的点）

[ver217]

1. 你理解的没错，一般tensor并行的process group都会选择在单机多卡
2. 能用数据并行的话，数据并行肯定是最快的。2d tensor 并行主要针对较大的模型，比如一层甚至没法放在一张卡，他切分方法导致比 1d tensor 并行更省内存。他们应对的其实是不太相同的场景。至于哪种并行方式速度快，还需要具体场景具体分析。就你举得例子来说，如果你的模型能用 pipeline 并行，我会优先使用 pipeline + data 并行。如果不行，我会考虑 tensor + data 并行。其实从实现上来讲，我们实现的pipeline 并行整体上也比 megatron 稍微快一点，而且通用性更强。

[binmakeswell]

感谢 @xxw11 对本项目的关注，欢迎加入Colossal-AI微信社群，与本项目保持长久的沟通联系 :-)