pytorch和pytorch lightning的一些坑
Published:
CUDA显存问题
https://blog.csdn.net/weixin_44826203/article/details/130401177
torch提供了一些看显存分配情况的函数。
有两个坑点 第一，有时候需要手动显式的del tensor 第二，在del后，这部分内存不会立刻释放，而是会被cache，所以有时候需要使用empty_cache()函数来释放缓存。
pytorch模块注册的问题
https://zhuanlan.zhihu.com/p/423478428
简而言之就是，用个list塞了一些模块并不会将模块注册到网络中，必须用nn.ModuleList手动注册（但是已注册的类的属性都会自动注册，但是属性是一个list就不行）
一开始还以为是pytorch lightning的问题，结果发现手动移模型也不行。最后发现是这个问题。