并行 训练支持

[wuchaowei2012]

您好， 我最近升级了 Deepspeech 到了 最新的 分支。 现在我手里有两台服务器，每台服务器配备 两张 2080Ti的显卡，请问 怎样在已有代码基础上 快速进行并行训练。

[zh794390558]

抱歉，目前paddle的多机并行还不支持。单机多卡，可以设置CUDA_VISIBLE_DEVICES.

[wuchaowei2012]

你好，是paddle 不支持 还是 deepspeech 不支持啊？ 具体原因请教下，大牛。

[leijue222]

我没理解错的话，该仓库提供的预训练model是基于python2.7的。代码是支持目前各种依赖的最新版本的，但是没提供预训练模型，希望我们利用开源代码自己去复现train一个model出来。

[zh794390558]

你好，是paddle 不支持 还是 deepspeech 不支持啊？ 具体原因请教下，大牛。

应该是paddle不支持，后续支持后应该可以在官网上找到对应的文档的，关注下paddle release哈。

[zh794390558]

我没理解错的话，该仓库提供的预训练model是基于python2.7的。代码是支持目前各种依赖的最新版本的，但是没提供预训练模型，希望我们利用开源代码自己去复现train一个model出来。

是的，代码升级到2.x了，支持动态图，目前没有release pretrain的model，应为改动代码后可能回需要重新训练或调整参数才能发布。
而且目前开源数据集都不大，可以自己训练下看结构和egs里的readme是否一致。
也欢迎社区能贡献multi_cn/aishell2等的脚本和结果。

[ZeyuChen]

你好，是paddle 不支持 还是 deepspeech 不支持啊？ 具体原因请教下，大牛。

目前DeepSpeech还没加多机的分布式训练接口，目前只支持单机多卡并行训练。
您可以给我们提个feature request issues，未来我们会排期增加。
不过对于普通的机器，由于多机之间传输带宽较低（千兆）所以通讯效率不一定高，如果可以建议单机多卡效果会更有保证。