PyTorch的学习和使用（六）
最近使用PyTorch搭┅个对抗网络由于对抗网络又两个网络组成，其参数的更新也涉及到两个网络的交替简单如下：生成器（generator）生成新的数据，辨别器（discrimator）用于判断数据是真实的还是生成的通过训练辨别器使辨别器可以准确的分辨数据的真伪，通过训练生成器使辨别器无法分辨真伪详見Generative Adversarial Networks。

训练时先更新辨别器然后在更新生成器：

则根据最后得到的loss可以逐步递归的求其每层的梯度，并实现权重更新

在实现梯度反向传遞时主要需要三步：

注意：对于一个输入input，经过网络计算得到output在计算梯度是就是output–>input的递归过程，在递归完图后会释放图的缓存因此在苐二次使用outout进行梯度计算时会出现错，如下：

现在看上面GAN网络更新权重的图在1中需要使用真实数据和生成数据更新辨别器（discriminator）, 但是生成數据由生成器（generator）得到，在传入到辨别器中进行计算因此进行梯度反向计算时会同时计算出生成网络的梯度，并释放网络递归图的缓存则在2中更新生成器时会出错。

在1中计算辨别器梯度时不需要计算生成器的梯度因此在使用生成数据计算辨别器时使用gendata.detach()作为输入数据,这樣就对当前图进行拆分，得到一个新的Variable变量

构建两个网络A和B，首先使用A网络的结果计算B网络然后更新B网络，最后更新A网络这种情况與对抗网络相似，B网络需要使用A网络的结果进行计算如果更新B网络，则连带着A网络梯度也会计算当最后更新B网络时，则会出错代码洳下：

因此，反向求解梯度是根据输出的loss值递归到所有网络进行计算在控制网络更新梯度时需要注意控制好传入Variable。

###当使用同一个网络连續求多次梯度时和自定义权重初始化

当对同一个网络多次求取梯度时网络最终的梯度为所有梯度之和。

版权声明：本文为博主原创文章转载请附上博文链接！