본문 바로가기

Embedding

가장 많이 사용되는 임베딩(Embedding) 모델 OpenAI: text-embedding-ada-002ChatGPT, LangChain 공식 튜토리얼에서 사용되는 가장 많이 언급되는 모델로 다국어도 어느 정도 지원하고 사용법이 쉽다. 품질이 뛰어나 실무에 사용되지만 유료(OpenAI API)로 사용해야 한다.랭체인에서 많이 쓰는 예제 기본값으로 사용되며 OpenAIEmbeddings 클래스를 활용한다.from langchain.embeddings import OpenAIEmbeddingsembeddings = OpenAIEmbeddings(openai_api_key = "YOUR_OPENAI_API_KEY")result = embeddings.embed_query("세종대왕 맥북 던짐 사건이 뭐야?")print(result)Hugging Face / .. 더보기
[AI] RAG로 LLM 서비스 구성 과정 (키워드만) Load문서 로딩: 문서(pdf, word), RAW Data, 웹 페이지, Markdown, Notion 등 데이터 읽기Split분할: 불러온 문서를 chuck 단위로 분할Embedding임베딩: 문서를 벡터 표현으로 변환VectorStore벡터DB: 변환된 벡터를 DB에 저장Retrieval검색: 유사도 검색(similarity, mmr), Multi-Query, Multi-RetrieverPrompt프롬프트: 검색된 결과를 바탕으로 원하는 결과를 도출하기 위한 프롬프트Model모델: LLM 모델 선택Output결과: 텍스트, JSON, Markdown 더보기
반응형

티스토리툴바