deep learning with differential privacy using pytorch

Idea

1. 动态调节sigma和C
2. 使用stochastic weight average
3. 使用self-ensemble

Todo

• 完成fully connected network mnist
• 完成autoencoder mnist，对mnist做PCA降维处理。保存模型，加载自己数据
• 完成per example gradient
• 查看不同层的梯度，以及总梯度的l2norm, l2norm的方差变化的情况
• 完成privacy accountant
• 完成dp_pca

Tricks

1. 使用torch.utils.data.WeightedRandomSampler来实现resampling