언어 모델이란 무엇인가?1. 언어 모델이란 무엇인가? 자연언어 : 인간의 언어, 정보 전달의 수단언어모델 : 인간의 언어를 컴퓨터가 이해할 수 있게 하는 지식 표현 체계, 언어를 이루는 구성(글자, 형태소, 단어, 단어열(문자열), 문단 등)에 확률값을 부여하여 이를 바탕으로 다음 구성 요소를 예측하거나 생성하는 모델전통적 언어 모델 : 규칙기반 언어모델 -> 통계기반 언어모델 -> 딥러닝 기반 언어 모델Encoder과 Decoder의 차이 : Encoder : 전체 문장을 이해를 요구하는 task 에 적합( BERT, RoBERT), Decoder : 텍스트 생성과 관련 task 가 가장 적합(GPT) 2. 자연언어 처리 속 언어 모델의 역할NLP = NLU (Natural Language Unde..