daniel7481의 개발일지

Pytorch Lightning Refactoring Baseline / PL 코드 도식화 Baseline 도식화 베이스라인 코드를 이해하기 위해 가장 먼저 도식화를 진행하였다. 도식화를 통해 각 코드에서 모듈이 어떻게 이어져 있는지, 각 모듈의 기능 등을 시각적으로 나타내기 위해 그림으로 이어주었다. 또한 이를 토대로 어떤 모듈을 pytorch lightning 코드에 재활용 할 수 있을지를 생각하고, Pytorch lightning 코드 또한 구현에 앞서 도식화를 하였다. Pytorch lightning 도식화 도식화를 진행하기 전에는 머릿속이 뒤죽박죽이었지만, 베이스라인 코드를 도식화한 후 pytorch lightning 또한 미리 설계하듯 도식화를 하자 재구현이 훨씬 쉬워졌다. pl ├─ UPDA..

1. 프로젝트 개요 위키피디아 원시 말뭉치를 활용하여 관계 추출 태스크에 쓰이는 주석 코퍼스 제작 Relation set의 구성 및 정의, 가이드라인 작성, 파일럿 및 메인 어노테이션, 그리고 간단한 모델 Fine-tuning의 과정을 통해 실제 데이터 제작의 workflow 경험 정밀한 가이드라인 제작의 중요성과 inter-annotator agreement(IAA)의 개념 체득 2022.12.07(수) ~ 2022.12.16(금) 13:00 2. 팀 구성 및 역할 김건우_T4017 IAA 계산, 모델 튜닝, RE 데이터 태깅 백단익_T4098 Relation Map 작성, 가이드라인 FAQ 작성, RE 데이터 태깅 손용찬_T4108 tagtog 플랫폼 문장 업로드, RE 데이터 태깅 이재덕_T4163..

문제 정의 문장 안에서 Entity(단어)가 2개 주어졌을 때, 문장 내에 두 단어의 관계를 예측하는 task다. ex) 이번 대회에서 EDA를 맡게 되었고, 가장 먼저 데이터를 하나하나씩 뜯어보면서 우리가 풀어야할 문제를 정의하려고 하였고, 데이터 시각화를 통해 여러 가지 인사이트를 발굴했다. EDA 데이터셋은 KLUE Datset을 사용했으며, 칼럼은 id, Sentence, subject_entity, object_entity, label, source로 나뉜다. id: 인덱스다 Sentence: Entity가 포함된 문장들이다. subject_entity: Entity 간의 관계를 파악할 때 주어가 되는 단어다. 예로 들어 label이per:children이라면 subject_entity의 typ..

AI 서비스 개발 이제 머신러닝 모델에 대해 공부를 했으니 ai 서비스를 개발하는 법을 배우는 시간이다. 나중에 product serving에 대해 자세히 공부하기 전에 간단하게 1주 동안 강의를 듣고, 변성윤 마스터님께서 내준 추가 학습 문제를 정리해보려고 한다. MLOps가 필요한 이유 이해하기 정적으로 주어진 데이터셋만 가지고 학습을 한 모델은 research 용도로만 사용이 되고, 실제로 딥러닝 모델을 상품화 하려면 데이터를 끊임없이 feeding 해주고 모델을 업데이트 해주는 과정이 필요하다. 오래된 데이터로 학습된 데이터는 시간이 갈수록 decay되고, 좋은 성능을 내기 어렵다. 데이터를 모으고, 데이터 품질을 확인하고, 모델에 자동으로 학습이 되고 사용자가 request할 때 모델에서 나온 ..

피어세션 벌써 시간이 흘러서 1달이 지났고, 곧 있으면 P stage가 시작된다. 앞으로 Level 2, 3를 함께 할 캠퍼를 찾아야 하는데, 정말 다행스럽게도 우리 팀은 현재 팀을 유지하기로 하였다. 팀 분위기도 괜찮고 다들 열정이 있었기에, 내심 다행이라고 생각했다. 최종 프로젝트에 대해 다음과 같은 몇 가지 기준을 정하였다. Ops 구축 + 배포 Product 상용 가능성 있어야 함 금융 도메인 활용(법률 st.) 연계 회사 관련 Target 설정 또한 대강 역활도 정했다. 앞으로 매주 아이디어를 준비해와서 공유하기로 하였다. 시간이 많이 남았다라고 생각할 수도 있지만 4달은 금방이다. 미리미리 준비해야 의미 있는 프로젝트를 할 수 있다고 의견을 모았다. 공부 회고 이번 주는 NLP 이론에 대하여 ..

멘토링 오늘 멘토링 시간에는 읽어보면 좋을만한 논문 리스트를 공유 받았다. NLP Attention Is All You NeedNIPS 2017 2 NLP Deep contextualized word representationsNAACL 2018 3NLP GeneralBERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingarXiv 2018-2019 4 NLP GeneralRoBERTa: A Robustly Optimized BERT Pretraining ApproacharXiv 2019 5 NLP GeneralMulti-Task Deep Neural Networks for Natural Language Underst..