20220926 2주차 월요일 회고

피어세션

또 일주일이 시작되었다. 오늘은 이번주에 강의들을 확인하고 날짜별로 범위를 정하는 시간을 가졌다. 데일리 스크럼 시간에 각자 오늘 끝낼 부분을 정했고, Pytorch 기본 123강을 완독하고 퀴즈를 끝내기로 하였다. 결과적으로는 강의도 다 보고 기본 과제 1도 조금 시작을 하였다. 오늘 챌린지는 산책하기이다. 하루종일 컴퓨터 앞에 앉아있는만큼 운동이 부족할 수도 있기 때문에 좋은 챌린지라고 생각한다. 

멘토링

또한 멘토링 시간을 가졌는데, 많은 정보를 들었다. 일단 앞으로 설명해주실 부분을 몇 가지 알려주셨는데, 그 중 담주에 진행할 것은 허깅페이스에서 BERT 뜯어보기이다. 물론 pre-trained 모델을 단순히 가져와서 사용할 수 있지만, 구조를 이해하면 더욱 잘 활용할 수 있을 것이다. 또한 템플릿에 대한 설명을 해주셨는데, 모델을 만드는게 막막했던 나로써는 신문물이었다. 템플릿을 활용해서 베이스라인을 정하고, 단순히 config 파일만 바꿔주면서 모델을 훈련시켜 나갈 수 있었다. 또한 우리 조는 캐글 및 대회에 관심이 많아 참가하려고 하는데, 그에 대한 꿀팁도 많이 받을 수 있는 시간이었다.

공부 회고

• Pytorch는 Define by run을 지원하는데, computational graph를 실행을 하면서 그려나가는 형식이다. 
• Pytorch Define by run을 통해 결과를 즉시 확인 가능하고, API가 좋고 커뮤니티가 잘 활성화 되있고, 무엇보다 편리하다!
• Pytorch에서는 view와 reshape을 제공하는데, reshape은 storage가 다른 새로운 텐서를 반환해주기 때문에 view를 사용하는 것을 권장한다.(contiguity 보장)
• 행렬곱셈 연산은 dot이 아닌 mm을 사용한다.
• 텐서에서 requires_grad=True를 설정해서 자동미분을 지원해준다. 
• 언제까지나 jupyter를 사용할 수 없다, 초기 단계에서는 유리하지만 배포 및 공유 단계에서는 실행 순서가 꼬일 수 있어서 개발 용이성 확보와 유지보수 향상을 위해 노트북을 사용하지 않는 것이 좋다.
• 실행, 데이터, 모델, 설정, 로깅, 지표, 유틸리티 등 다양한 모듈들을 분리하여 프로젝트를 템플릿화할 수 있다