daniel7481의 개발일지

협소한 견문이지만 P Stage를 진행하면서 OOM이 발생할 때마다 slack에서 다른 분이 올려주신 부분을 보다 보니 직접 정리해야하겠다는 생각이 들었다. 그래서 두 가지 용량 문제를 해결했던 방법을 적으려고 한다. CUDA out of memory 확실하지는 않지만! CUDA에서 메모리가 부족하다는 것은 RAM에서 자원이 부족하다는 뜻 같았다. 나 같은 경우에는 다른 모델 학습을 하고 있는데 또 다른 모델 학습을 하려고 한다거나(모델을 많이 돌리다보면 전에 돌리던 모델이 끝난 줄 알았는데 몰래 학습하고 있었던 경우가 많았다) 이런 경우에 자주 발생하는 것 같았다. 이럴 때 해결 방법은 1. 만약 전에 돌리고 있던 학습이 끝나야 하고 현재 모델을 돌려야 할때 ps -ef로 지금 진행 중인 process..

P stage가 끝난 기념 폭풍같이 블로그를 작성하고 있다. 이 때가 아니면 또 잊어버릴 수도 있기에, 이번에 구현했던 wand와 sweep 구현을 적어보려고 한다. Wandb wandb.login(key = wandb_dict[cfg.wandb.wandb_username]) model_name_ch = re.sub('/','_',cfg.model.model_name) wandb_logger = WandbLogger( log_model="all", name=f'{model_name_ch}_{cfg.train.batch_size}_{cfg.train.learning_rate}_{time_now}', project=cfg.wandb.wandb_project, entity=cfg.wandb.wandb_enti..