자연어를 컴퓨터가 이해하는 방법

자연어처리란? 컴퓨터가 NL(Natural Language)을 이해, 생성, 조작할 수 있도록 해주는 인공지능 분야 텍스트를 컴퓨터가 이해하는 방법 컴퓨터는 숫자로 정보를 주고 받는다 목표 : 입력을 벡터화 해야함 문장 -> 벡터화 토큰화 토큰은 텍스트 데이터에서 의미를 가지는 최소한의 덩어리 텍스트 데이터를 토큰 단위로 나누는 과정을 토큰화 언어마다 다르기에 언어적 특성이 고려되어야함 토큰화 예시 EX) 나는 AI컴퓨터공학과 최인호이다. 임베딩 : One-hot encoding 정보를 벡터화하는 기초적인 방법 나는 [1, 0, 0, 0, 0, 0, 0] AI [0, 1, 0, 0, 0, 0, 0] 컴퓨터 [0, 0, 1, 0, 0, 0, 0] 공학 [0, 0, 0, 1, 0, 0, 0] 과 [0, 0,..

2023.07.12