20221014 4주차 금요일 회고

피어세션

벌써 시간이 흘러서 1달이 지났고, 곧 있으면 P stage가 시작된다. 앞으로 Level 2, 3를 함께 할 캠퍼를 찾아야 하는데, 정말 다행스럽게도 우리 팀은 현재 팀을 유지하기로 하였다. 팀 분위기도 괜찮고 다들 열정이 있었기에, 내심 다행이라고 생각했다. 최종 프로젝트에 대해 다음과 같은 몇 가지 기준을 정하였다.

• Ops 구축 + 배포
• Product 상용 가능성 있어야 함
• 금융 도메인 활용(법률 st.)
• 연계 회사 관련 Target 설정

또한 대강 역활도 정했다. 앞으로 매주 아이디어를 준비해와서 공유하기로 하였다. 시간이 많이 남았다라고 생각할 수도 있지만 4달은 금방이다. 미리미리 준비해야 의미 있는 프로젝트를 할 수 있다고 의견을 모았다.

공부 회고

이번 주는 NLP 이론에 대하여 공부했다. RNN, LSTM, GRU 등 핵심 기본은 따로 포스팅을 해야겠다. 단순히 회고로 정리하기에는 무리가 있어 보인다. Beam search/BLEU score에 대해 작성해볼려고 한다

• 확률값이 제일 큰 단어로 decoding을 하는 Greedy decoding은 단어를 뽑아내면 잘못된 출력이라도 undo할 수 없다.
• 모든 경우의 수를 다 따지는 Exhaustive search는 vocab_size V에 대하여 O(V^t)로 비용이 너무 크다
• 이 둘 사이에 있는 Beam search는 beam size k에 대하여 각 step에 제일 확률이 높은 K개의 hypothesis만 남기는 방법이다.

• Beam size는 globally optimal solution을 찾을 수 없지만 훨씬 효율적이다.
• 한 hypothesis가 <eos>를 출력해도 다른 hypothesis는 <eos>를 출력할 때까지 진행한다. timestep T에 닿을때까지 진행하거나 최소 n개의 complete hypothesis가 나올 떄까지 진행한다.
• 하나의 hypothesis의 로그 확률 값은 무조건 음수를 가진다(확률은 0~1사이이고, 이 값을 로그로 취하면 무조건 음수다). 계속 더해주면 더 작은 값을 가질 수 밖에 없다. 이 떄문에 더 길이가 긴 hypothesis는 더 낮은 확률을 가지게 된다. 이를 해결하기 위해 길이를 기준으로 normalize를 해준다.

• 단순히 맞춘 개수를 따지는 precision과 recall은 machine translation에서 옳지 않은 평가 지표가 될 수 있다.

• 이를 해결하기 위해 N-gram overlap이 사용되는데, n은 1에서부터 4로 전체 corpus에 대하여 n개의 단어가 연속으로 맞는 precision을 구한다. 또한 앞에 번역된 길이가 너무 짧으면 안되므로 brevity penalty를 곱해준다.

brevity penalty X N-gram precision