pg_loss1也可能是正也可能是负吧。

[Harryjun]

log_ratio = (logprobs - old_logprobs) * mask
        ratio = torch.exp(log_ratio.float())   

logprobs和old_logprobs不一定谁大，所以
这里log_ratio可能为正或者为负吧，

pg_loss1 = -advantages * ratio
        pg_loss2 = -advantages * torch.clamp(
            ratio,
            1.0 - self.args.cliprange,
            1.0 + self.args.cliprange,
        )

所以这里pg_loss1也可能是正也可能是负吧。