[pytorch] inference시 memory leak

출처: https://study-grow.tistory.com/entry/pytorch-inference%EC%8B%9C-memory-leak-%EB%A9%94%EB%AA%A8%EB%A6%AC-%EA%B3%BC%EB%B6%80%ED%95%98-%EB%AC%B8%EC%A0%9C

inference, validation 시에는 gradient 계산을 하지 않는다. 그래서 이 함수는 인퍼런스시에 유용하고 메모리 소비를 감소시켜준다고 한다.

eval은 왜 안 된걸까?

eval은 특정 모듈들 (dropout이나 batch normalization 등)의 모드를 변경하는 역할을 한다. 이 모듈들은 학습할 때 작동하는 방식과 추론(inference)할 때 작동하는 방식이 다르다. 그걸 조정해주는 거다. 

즉, 메모리와는 관련없다.

#torch.no_grad() #model.eval()