반응형 wod2vec1 언어 생성형 AI의 원리 기초 - word2vec word2vecword2vec은 구글(Google)에서 개발한 자연어 처리 기술 중 하나로, 단어의 의미를 벡터(vector)로 표현하는 방법입니다.원-핫 인코딩(one-hot encoding)의 경우, 단어의 의미를 제대로 표현하지 못해 유의미한 유사도를 반영할 수 없다는 단점이 있습니다.word2vec의 경우, 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가진다 는 분포 가설을 따르는 분산 표현 방법을 사용합니다.예를 들어, '사과','풋사과','자동차'라는 데이터가 있다면, 원-핫 인코딩에서는 3단어가 모두 다른 단어로 인식됩니다.하지만 맥락에 따라 '사과'와 '풋사과'는 거의 비슷한 의미를 가질 수 있다고 생각할 수도 있습니다.Word2Vec은 이를 위해 단어의 의미를 벡터로 표현하여, 단어 .. 2024. 11. 23. 이전 1 다음 반응형
