벡터 임베딩 그리고 유사도 측정에 대해 공부하고 기록한 글 입니다. 벡터 임베딩벡터 임베딩은 데이터의 수치화된 표현을 의미합니다. 자연어 혹은 특정 사물, 주제, 이미지 등 기타 데이터를 수치화한 값을 의미합니다. 예를들어 "나무" 라는 단어를 [ 0.04128048 0.02086734 -0.00774979 ] 이런 형태로 숫자로 표현한다면 이는n차원의 벡터 공간에 "나무"라는 임베딩을 생성한 것 입니다. 해당 값은 사람이 보기엔 의미있는 수치가 아닙니다. 다만 AI 에겐 해당 수치가 유사성 판단의 근거가 됩니다.   유사도 측정특정 데이터가 얼마나 유사한지 측정하는 과정을 의미합니다.여러가지 유사도 측정 방식이 있지만 코사인유사도, 유클라디안 유사도 이렇게 두가지에 대해 설명하겠습니다. 코사인 유사도..

gpt 모델을 활용하여 한층 강화된 모델을 사용할 수 있도록 해주는 도구 입니다. 기존 Chat GPT 3.5 모델에 추가 정보를 입력하여 모델에 참고 데이터를 제공 할 수 있습니다. https://platform.openai.com/assistants 링크에 접속하면 UI로 어시스턴트를 생성,수정 할 수 있습니다. Fine-tuning 좌측 탭을 보면 Fine-tuning 이라는 항목을 볼 수 있는데, 이미 훈련된 대규모 언어 모델에 특정 데이터셋을 사용하여 추가적인 학습을 수행하는 작업을 말합니다. 예를들어 Chat GPT 3.5 모델이 내가 원하는 방향으로 데이터를 제공하지 않는다면 이 항목을 통해 미세 조정을 할 수 있습니다. 챗봇을 제작할 때 답변의 형태를 일정한 형태로 유지한다던가, 항상 존댓..