본문 바로가기
반응형

ai3

언어 생성형 AI의 원리 기초 - word2vec word2vecword2vec은 구글(Google)에서 개발한 자연어 처리 기술 중 하나로, 단어의 의미를 벡터(vector)로 표현하는 방법입니다.원-핫 인코딩(one-hot encoding)의 경우, 단어의 의미를 제대로 표현하지 못해 유의미한 유사도를 반영할 수 없다는 단점이 있습니다.word2vec의 경우, 비슷한 위치에서 등장하는 단어들은 비슷한 의미를 가진다 는 분포 가설을 따르는 분산 표현 방법을 사용합니다.예를 들어, '사과','풋사과','자동차'라는 데이터가 있다면, 원-핫 인코딩에서는 3단어가 모두 다른 단어로 인식됩니다.하지만 맥락에 따라 '사과'와 '풋사과'는 거의 비슷한 의미를 가질 수 있다고 생각할 수도 있습니다.Word2Vec은 이를 위해 단어의 의미를 벡터로 표현하여, 단어 .. 2024. 11. 23.
원핫인코딩 원 핫 인코딩머신러닝 알고리즘은 문자열 데이터 속성을 입력받지 않으며 모든 데이터는 숫자형으로 표현되어야 합니다.따라서 문자형 카테고리형 속성은 모두 숫자 값으로 변환/인코딩 되어야 합니다.원 핫 인코딩 기법은 입력 데이터를 숫자 벡터로 변환하는 방법으로, 각 입력 데이터의 특성을 0과 1의 이진 벡터로 표현합니다.예를 들어, 내가 학습시킬 데이터에 사과/바나나/포도 라는 데이터가 있다면 아래와 같이 3개의 컬럼이 있는 형식으로 표현할 수 있습니다.(여기가 1이면 사과), (여기가 1이면 바나나), (여기가 1이면 포도)(1, 0, 0) --> 이 데이터는 사과를 의미합니다(0, 1, 0) --> 이 데이터는 바나나를 의미합니다(0, 0, 1) --> 이 데이터는 포도를 의미합니다즉, 각 숫자는 단어의 .. 2024. 11. 15.
AI란? 생성형AI란? AI란? 인공지능이란?인공지능(AI, Artificial Intelligence)은 인간의 지능을 모방하거나 대체하는 기술입니다.컴퓨터 과학과 공학, 심리학 등 다양한 분야에서 연구되고 있으며, 다음과 같은 특징을 가지고 있습니다.1.지능의 구현: 인공지능은 인간의 지능을 모방하여 다양한 문제를 해결할 수 있습니다. 이를 위해 기계학습, 딥러닝, 자연어 처리 등의 기술이 사용됩니다.2.자동화: 인공지능은 자동화를 통해 인간의 노동력을 대체하거나 보완할 수 있습니다. 예를 들어, 자율주행 자동차나 로봇 등은 인공지능을 이용하여 자동으로 운전하거나 작업을 수행합니다.3.예측과 추론: 인공지능은 데이터를 분석하여 미래를 예측하거나, 주어진 정보를 바탕으로 추론을 할 수 있습니다. 이를 통해 의료, 금융, 마케.. 2024. 11. 14.
반응형