20221012 4주차 수요일 회고

피어세션

오늘 팀원 분 중 한 분이 Diffusion model로 이미지를 생성하는 신기한 봇을 소개해줘서, discord에서 직접 해보았다. AI Network DAO에서 만든 Stable Diffusion 모델은 discord text-to-art에 /generate prompt:"cute cat"처럼 "'안에 그림으로 나타내고 싶은 내용을 영어로 적으면 그대로 그려준다. 자세하게 적을수록 더 디테일한 그림이 나온다. 하고 싶은 분들을 위해 주소를 남겨놓겠다.

https://bit.ly/3LWbDEP

Join the AI Network DAO Discord Server!

Prompt: "A polar bear standing on the iceberg, iceberg is about to melt down, high detail, Hyper-Realistic"의 결과다

기술이 얼마나 발전했는지 알면 놀라울 정도다. 위 그림은 심지어 자세하게 설명하지 않았는데도 나온 결과다. 

스몰톡

오늘 스몰톡 시간을 가졌다. 몇 분이 나와서 팀원을 구하는 시간을 가졌는데, 나도 최종 프로젝트를 좀 생각해봐야겠다라는 생각이 들었다. 다른 분들은 이미 좋은 아이디어를 구상중이어서 더 그런 생각이 들었다.

공부 회고

Natural language processing

• Low-level parsing
  • Tokenization(i study math가 있으면 단어를 토큰으로 나누는 과정)
  • Stemming(study -> studied -> studying처럼 어미의 변화를 컴퓨터에게 이해시키는 과정, 어근을 추출하는 과정)
• Word and phrase level
  • Named entity recognition(고유 명사 인식)
  • part-of-speech tagging(단어가 문장내의 품사/성분을 분석)
  • noun-phrase chunking, dependency parsing, coreference resolution
• Sentence level
  • Sentiment analysis(감성 분석), machine translation(기계 번역)
• Multi-sentence and paragraph level
  • Entailment prediction(두 문장 간의 모순 확인/ 관계 예측)
  • Question answering(문서 독해를 통한 정답 맞추기)
  • Dialog systems(ex 챗봇)
  • Document summarization(요약)
• NLP에서 text data는 단어들의 집합이고, 모든 단어들은 하나의 벡터로 인식이 된다.
• 처음에는 RNN기반의 LSTM과 GRU가 많이 활용이 되었으나, 지금은 attention module과 transformer model로 인해 많이 발전하였다.
• 초기에는 다른 NLP task에 대하여 다른 모델을 사용해야 했다. 지금은 transformer에서 attention을 깊게 쌓고 많은 데이터를 넣어서 자가 진단 학습을 통해 label 없이 전이학습을 했을 떄도 성능이 좋다.
• NLP 분야에서 연구는 너무나 커진 데이터와 모델 크기로 인해 대기업에서만 이루어진다.