daniel7481의 개발일지

P stage sts 대회 P stage sts대회가 끝난 후, 우리가 열정적으로 돌리던 모델들은 서버에 외롭게 남겨졌다. 세상에 존재하는 AI중 8~90퍼센트는 실제로 사용이 되고 있지 않다는 article을 medium에서 봤던 것 같다. 대부분 더 좋은 성능을 내는, 더 빠른 모델을 찾기 위해 너무나 많은 자원을 소비하지만 실제로 우리 삶에 접목이 됬던 모델들은 극히 일부였던 것 같다. 사실 나 또한 이 모델을 활용할 생각은 해보지 못했는데, AI Tech 이번 주 강의가 AI 서비스 개발 기초다(정말 짜임새 있는 교육 과정이다). 이 과정에서 MLOps의 각 components를 알았고, 자원이 많이 요구되는 풀스택 개발을 통한 웹 개발이 아닌 voila, streamlit을 사용하는 방법을 알려..

협소한 견문이지만 P Stage를 진행하면서 OOM이 발생할 때마다 slack에서 다른 분이 올려주신 부분을 보다 보니 직접 정리해야하겠다는 생각이 들었다. 그래서 두 가지 용량 문제를 해결했던 방법을 적으려고 한다. CUDA out of memory 확실하지는 않지만! CUDA에서 메모리가 부족하다는 것은 RAM에서 자원이 부족하다는 뜻 같았다. 나 같은 경우에는 다른 모델 학습을 하고 있는데 또 다른 모델 학습을 하려고 한다거나(모델을 많이 돌리다보면 전에 돌리던 모델이 끝난 줄 알았는데 몰래 학습하고 있었던 경우가 많았다) 이런 경우에 자주 발생하는 것 같았다. 이럴 때 해결 방법은 1. 만약 전에 돌리고 있던 학습이 끝나야 하고 현재 모델을 돌려야 할때 ps -ef로 지금 진행 중인 process..

AI 서비스 개발 이제 머신러닝 모델에 대해 공부를 했으니 ai 서비스를 개발하는 법을 배우는 시간이다. 나중에 product serving에 대해 자세히 공부하기 전에 간단하게 1주 동안 강의를 듣고, 변성윤 마스터님께서 내준 추가 학습 문제를 정리해보려고 한다. MLOps가 필요한 이유 이해하기 정적으로 주어진 데이터셋만 가지고 학습을 한 모델은 research 용도로만 사용이 되고, 실제로 딥러닝 모델을 상품화 하려면 데이터를 끊임없이 feeding 해주고 모델을 업데이트 해주는 과정이 필요하다. 오래된 데이터로 학습된 데이터는 시간이 갈수록 decay되고, 좋은 성능을 내기 어렵다. 데이터를 모으고, 데이터 품질을 확인하고, 모델에 자동으로 학습이 되고 사용자가 request할 때 모델에서 나온 ..

P stage가 끝난 기념 폭풍같이 블로그를 작성하고 있다. 이 때가 아니면 또 잊어버릴 수도 있기에, 이번에 구현했던 wand와 sweep 구현을 적어보려고 한다. Wandb wandb.login(key = wandb_dict[cfg.wandb.wandb_username]) model_name_ch = re.sub('/','_',cfg.model.model_name) wandb_logger = WandbLogger( log_model="all", name=f'{model_name_ch}_{cfg.train.batch_size}_{cfg.train.learning_rate}_{time_now}', project=cfg.wandb.wandb_project, entity=cfg.wandb.wandb_enti..

문장 간 유사도 측정(STS) 문장 두 개가 주어지면 문장 간의 유사도를 0~5까지의 실수로 label한 값을 예측하는 대회였다. 평가지표로는 Pearson 상관계수가 주어졌고, label과 2.5 이하면 0, 이상이면 1인 binary 값이 주어졌다. 데이터에 대한 설명은 다음과 같다 총 데이터 개수 : 10,974 문장 쌍 Train 데이터 개수: 9,324 Test 데이서 개수: 1,100 Dev 데이터 개수: 550 Label 점수: 0 ~ 5사이의 실수 5점 : 두 문장의 핵심 내용이 동일하며, 부가적인 내용들도 동일함 4점 : 두 문장의 핵심 내용이 동등하며, 부가적인 내용에서는 미미한 차이가 있음 3점 : 두 문장의 핵심 내용은 대략적으로 동등하지만, 부가적인 내용에 무시하기 어려운 차이가 ..

https://aifactory.space/competition/detail/2126 2022년 NH투자증권 빅데이터 경진대회 | 데이터, 문화가 되다 aifactory.space AI Tech을 진행하면서 같은 팀원과 경진대회를 준비했다. Data 쪽 처음 프로젝트인지라 부담도 되고 걱정도 많이 되었다. 결론적으로 말하자면 대회에 참가할 수는 없었다. 우리가 옳다고 믿는 가설이 결국에는 참이 아니었기에, 다시 가설을 세우고 증명할 시간적 여유가 되지 않아 참여할 수는 없었다. 그러나 작성해놓지 않으면 그냥 사라지는 것이기 때문에 실패한 이유와 개선할 점 등을 정리 해보려고 한다. 준비 먼저 데이터에 대해서 자세히는 말해줄 수는 없지만 고객 정보/해외 국내 주식 거래내역/ 계좌 정보 등이 있었다. 정제되..