20221004 3주차 화요일 회고

피어세션

공휴일인 월요일에도 편히 쉴 수는 없었다. 강의를 듣고 과제들을 나눠서 푸는 공휴일이었다. 먼저 Leetcode 70.Climbing Stairs 문제를 풀었는데, 계단 오르기 같은 웰 노운 DP 문제였다. 지난 주 챌린지였던 어디서 어떤 데이터를 어떻게 모을지에 대해서 다음과 같은 의견들이 나왔다.

• AI 허브, 통합 데이터 지도, Kdata 데이터 안심구역
• 현업 로그 데이터를 수집해서 사용
• 강아지를 잃어버린다면… CCTV 영상 활용
• 공공빅데이터 청년인턴 직접 데이터 수집, 신뢰도 낮음 → 매년 데이터를 쌓아서 개선하는 방법
• 산업과 연계, 크롤링, 건설분야의 경우 학회 데이터
• NLP QA 데이터셋은 어디서? Data extraction으로 만들기 or 질문 데이터 직접 만들기 or prodigy 활용!

나는 단순히 CCTV 영상을 활용해서 objection detection을 통해 유기견을 찾을 수 있는 시스템을 구축하기 위해 영상 데이터를 모으기를 원했지만, 개인정보 보호 등 다양한 제약이 있을 수 있을거라 판단됬다. 실제 현업 단계에 가면 데이터를 사용하기 위해 다양한 제약이 예상되며, 설령 필요한 데이터를 협조를 구해 얻는다고 한다고 해도 csv 파일로 라벨링된 데이터는 산업에서 거의 존재하지 않으며, 대부분의 경우 직접 데이터를 만들거나 prodigy 사용 등 꽤 많은 인력이 소모될 것 같았다. 또 최종 프로젝트에 대한 얘기도 나왔는데, 단순히 모델만 구축하여 만드는 것은 메리트가 없다고 판단되어 MLops로 파이프라인을 구축해보고 웹/앱을 직접 제작해보는 방향으로 의견을 모았다. 이를 위해서는 아웃소싱이 필요하거나 개인 기량을 더 쌓아야할 것으로 예상된다. 오늘의 챌린지는 거북목 영상 보고 따라하기고, 운동을 갔다 온 후에 할 예정이다. 옵티마이저 관련된 내용을 학습하던 중 Adam에서 사용되는 momentum과 gradient squares를 이용하는 것에서 둘의 차이점이 궁금했고, 다음과 같은 사이트를 추천해주셨다.https://hiddenbeginner.github.io/deeplearning/2019/09/22/optimization_algorithms_in_deep_learning.html#Adam

[딥러닝] 딥러닝 최적화 알고리즘 알고 쓰자. 딥러닝 옵티마이저(optimizer) 총정리

아주 자세하고 친절하게 각 옵티마이저의 특징, 무엇을 해결하기 위해 이런 옵티마이저가 등장했는지가 잘 설명된 블로그였다. 

공부 회고

• 파라미터 수를 적게 가져가는 것이 학습을 개선할 수 있다. 지나친 파라미터의 개수는 과적합을 발생할 수 있다.
• 심층 신경망이 왜 더 좋은 성능을 내는지에 대해서는 다양한 의견이 있으나, 하나의 신경망으로도 모든 space K를 표현할 수 있는 경우가 존재한다라는 가정으로, 심층 신경망의 표현력이 굉장하다라는 점을 배웠다.
• 적은 batch-size는 flat Minimum을 발생시켜, train function과 testing function의 차이가 존재하더라도 그 차이가 large batch-size보다 더 적다.

• Bagging은 모델을 많이 만들어 병렬적으로 학습을 수행하고, voting 혹은 averaging으로 가중치를 합해주고, boosting은 데이터를 나누어 여러 가지 task에 대해 특화되어 있는 weak learner들을 만든 후, 앞선 weak learner가 취약한 부분을 보완하는 모델들을 만들어 직렬적으로 학습을 수행한다.

• 1x1 컨볼루션은 channel 차원을 줄여주기 위해 사용이 된다. GoogleNet의 인셉션 블록이나 Resnet에서 Bottleneck architecture에서 사용이 된다.
• ResNet의 큰 특징 중 하나는 skip connection인데, 신경망을 깊게 쌓을 경우 gradient vanishing을 방지하기 위해 block을 지난 f(x)에 원본 데이터 x를 더해주는 식으로 신경망을 깊게 쌓아도 학습이 잘 되도록 하였다.