20220921 1주차 수요일 회고

피어세션

아침에는 역시 알고리즘으로 시작하였다. 어제 미리 풀어온 leetcode - 122. Best Time to Buy and Sell Stock II를 모더레이터분이 발표를 해주었고, 우리가 생각 못한 dp를 이용한 풀이도 가져와서 다른 관점으로 볼 수 있었다. 오늘의 챌린지는 맛있는거 먹기였고, 나는 짜왕과 닭가슴살을 인증해서 올렸다. 피어세션이 peer씁니다 시간에는 같은 NLP 도메인 캠퍼분들을 만날 수 있었는데, 정말 가지각색의 캠퍼 분들을 만날 수 있었다. 다들 열정 있고 실력이 있어 보였다. 그 분들을 보니 더욱 승부욕이 불탔다. 4시에 진행한 피어세션에서는 오늘 분량인 경사하강법과 딥러닝 학습방법 이해하기 부분에 대한 설명이 이어졌고, 손실 함수에 대한 미분 부분에서 복잡한 수식을 모더레이터 분꼐서 간단하게 설명해주었다. 또한 sympy.diff를 통해 미분 하는 과정 또하 배울 수 있었다.

공부 회고

오늘은 AI 수학 부분 강의와 퀴즈 전부 다 끝냈다. pre-course에서 이미 들은 내용이지만 새로 들으니 또 새로웠다. 딥러닝의 근간이 되는 베이즈 정리,  확률 분포, 몬테카를로 샘플링 방법 등 어려운 수학 개념들을 설명해주셨고, 이러한 정리들이 딥러닝에서 어떻게 사용이 되는지 이해할 수 있었다. 또한 심화 과제 1을 끝냈는데, 가장 기본이 되는 경사 하강법을 직접 구현해보는 과제였고 생각보다 쉽지 않았다. 단순한 1차 함수를 미분하고, 경사하강법을 통해 최적화 시키는 작업이었는데, 헷갈리는 부분이 꽤 되었다. 가장 중요한 점은 wx+b에서 w에 대한 gradient를 구할려고 하면 x,T.dot(error)를 해주어야 한다는 부분이었다. 여기서 error은 타겟데이터와 예측값의 차이다. 예제에서는 간단한 스칼라 값 w여서 1x1 형식으로 답이 나오게 되어있다. 간단하게 최적화하는 코드를 짜며 재미있다는 생각이 들었다. 이제 곧 Backpropagation을 직접 구현해볼려고 한다.