语言: 🇨🇳 🇺🇸

«TSM»复现了论文Temporal Shift Module提出的视频分类模型

其CodeBase为ZJCV/TSN

内容列表

• 内容列表
• 背景
• 安装
• 使用
• 主要维护人员
• 致谢
• 参与贡献方式
• 许可证

背景

TSM: Temporal Shift Module for Efficient Video Understanding在TSN模型的基础上嵌入时间抖动模块，进一步提高了视频分类精度。其CodeBase来自于TSN

安装

通过requirements.txt安装运行所需依赖

$ pip install -r requirements.txt

处理数据时需要额外安装denseflow，可以在innerlee/setup中找到安装脚本

使用

首先设置GPU和当前位置

$ export CUDA_VISIBLE_DEVICES=1
$ export PYTHONPATH=.

• 训练

# 训练UCF101
# 单GPU
$ python tools/train.py --config_file=configs/tsm_resnet50_ucf101_rgb.yaml
# 多GPU
$ python tools/train.py \
--config_file=configs/tsm_resnet50_ucf101_rgb.yaml \
--eval_step=1000 \
--save_step=1000 \
-g=2

• 测试

# 单模态测试
$ python tools/test.py <config_file> <pth_file>
$ python tools/test.py configs/tsm_resnet50_ucf101_rgbdiff.yaml outputs/tsm_resnet50_ucf101_rgbdiff.pth
# 多模态融合测试 - RGB + RGBDiff
$ python tools/fusion.py <rgb_config_file> <rgb_pth_file> <rgbdiff_config_file> <rgbdiff_pth_file>
$ python tools/fusion.py \
configs/tsm_resnet50_ucf101_rgb.yaml \
outputs/tsm_resnet50_ucf101_rgb.pth  \
configs/tsm_resnet50_ucf101_rgbdiff.yaml \
outputs/tsm_resnet50_ucf101_rgbdiff.pth

主要维护人员

• zhujian - Initial work - zjykzj

致谢

• mit-han-lab/temporal-shift-module
• open-mmlab/mmaction2

参与贡献方式

欢迎任何人的参与！打开issue或提交合并请求。

注意:

• GIT提交，请遵守Conventional Commits规范
• 语义版本化，请遵守Semantic Versioning 2.0.0规范
• README编写，请遵守standard-readme规范

许可证

Apache License 2.0 © 2020 zjykzj