목록CUDA OOM (1)

daniel7481의 개발일지

모델 학습 중 메모리 부족할 때

협소한 견문이지만 P Stage를 진행하면서 OOM이 발생할 때마다 slack에서 다른 분이 올려주신 부분을 보다 보니 직접 정리해야하겠다는 생각이 들었다. 그래서 두 가지 용량 문제를 해결했던 방법을 적으려고 한다. CUDA out of memory 확실하지는 않지만! CUDA에서 메모리가 부족하다는 것은 RAM에서 자원이 부족하다는 뜻 같았다. 나 같은 경우에는 다른 모델 학습을 하고 있는데 또 다른 모델 학습을 하려고 한다거나(모델을 많이 돌리다보면 전에 돌리던 모델이 끝난 줄 알았는데 몰래 학습하고 있었던 경우가 많았다) 이런 경우에 자주 발생하는 것 같았다. 이럴 때 해결 방법은 1. 만약 전에 돌리고 있던 학습이 끝나야 하고 현재 모델을 돌려야 할때 ps -ef로 지금 진행 중인 process..
DL 2022. 11. 9. 14:09
이전 Prev 1 Next 다음