20221013 4주차 목요일 회고

멘토링

오늘 멘토링 시간에는 읽어보면 좋을만한 논문 리스트를 공유 받았다. 

NLP Attention Is All You NeedNIPS 2017
2 NLP Deep contextualized word representationsNAACL 2018
3NLP GeneralBERT: Pre-training of Deep Bidirectional Transformers for Language UnderstandingarXiv 2018-2019
4 NLP GeneralRoBERTa: A Robustly Optimized BERT Pretraining ApproacharXiv 2019
5 NLP GeneralMulti-Task Deep Neural Networks for Natural Language UnderstandingACL 2019
6 NLP GeneralXLNet: Generalized Autoregressive Pretraining for Language UnderstandingarXiv 2019-2020
7 NLP GeneralELECTRA: Pre-training Text Encoders as Discriminators Rather Than GeneratorsICLR 2020
8 NLP General Language Models are Unsuper - 2019
9 NLP GeneralBART: Denoising Sequence-to-Sequence Pre-training for Natural Language Generation, Translation, and ComprehensionarXiv 2019
10 NLPText ClassificationCharacter-level Convolutional Networks for Text ClassificationNIPS 2015
11 NLPSentence EmbeddingUniversal Sentence Encoder arXiv 2018
12 NLP AugmentationAEDA: An Easier Data Augmentation Technique for Text ClassificationEMNLP 2021
13NLP AugmentationText AutoAugment: Learning Compositional Augmentation Policy for Text ClassificationEMNLP 2021
14 CVImage RecognitionGoing deeper with convolutions CVPR 2014
15 CVImage RecognitionDeep Residual Learning for Image RecognitionCVPR 2015
16 CVImage RecognitionDensely Connected Convolut CVPR 2017
https://proceedings.neurips.cc/paper/2017/file/3f5ee243547dee91fbd053c1c4a845aa-Paper.pdf
https://arxiv.org/pdf/1802.05365.pdf
https://arxiv.org/pdf/1810.04805.pdf
https://arxiv.org/pdf/1907.11692.pdf
https://arxiv.org/abs/1901.11504
https://arxiv.org/pdf/1906.08237.pdf
https://openreview.net/pdf?id=r1xMH1BtvB
https://d4mucfpksywv.cloudfront.net/better-language-models/language_models_are_unsupervised_multitask_learners.pdf
https://arxiv.org/pdf/1910.13461.pdf
https://papers.nips.cc/paper/2015/file/250cf8b51c773f3f8dc8b4be867a9a02-Paper.pdff
https://arxiv.org/pdf/1803.11175.pdf
https://arxiv.org/pdf/2108.13230.pdf
https://arxiv.org/pdf/2109.00523.pdf
https://arxiv.org/pdf/1409.4842v1.pdf
https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/He_Deep_Residual_Learning_CVPR_2016_paper.pdf
https://arxiv.org/pdf/1608.06993v5.pdf

전부 다 읽기에는 어렵고, 정말 중요한 Attention is all you need 등 찬찬히 읽어보기로 하였다. 우리 조는 매주 한 명이 논문을 읽은 후 발표하는 식으로 진행하기로 하였다. 또한 먼저 읽어 본 후 멘토님께서 설명하는 것을 듣기로 하였다.

마스터 클래스

마스터 클래스는 항상 도움이 된다. 안수빈 마스터님이 해주신 조언 또한 굉장히 도움이 되었다. 그 중 몇 가지 인상 깊었던 점을 적겠다.

• 현업에서 실력이 없는 것은 죄다. 또한 실력을 증빙하기 위한 자료들이 있어야 한다. 
• 어떤 개발자가 될 것인지 고민해보자. Problem solver도 좋지만 문제를 제기할 수 있는 사람도 되어야 한다.
• 개발자의 실력 = 실력 + 브랜딩
• 어떻게 PR을 해야 할까?
• 데이터 리터러시: 데이터를 현실 세상의 문제에 대한 끊임 없는 탐구를 통해 질문하고 답하는 능력 
  • 좋은 질문을 할 수 있는 역량
  • 필요한 데이터를 선별하고 검증할 수 있는 역량
  • 데이터 해석 능력을 기반으로 유의미한 결론을 만들어내는 역량
  • 가설 기반 A/B 테스를 수행하여 결과를 판별할 수 있는 역량
  • 의사 결정자들도 이해하기 쉽게 분석 결과를 표현할 수 있는 역량
  • 데이터 스토리텔링을 통해 의사결정자들이 전체그림을 이해하고 분석 결과에 따라 실행하게 하는 역량
• 코딩테스트 준비 같은 경우에는 한 문제에 너무 오랜 시간을 쓰지 않는 것이 좋다. 마스터님은 30분 제한을 뒀다.
• AI 같은 경우에는 리소스 대비 창업하기가 어려울 수 있다.