본문 바로가기

model

[AI] LLM 모델의 평가 및 검증 모델의 평가 및 검증 방법모델의 평가와 검증은 얼마나 잘 작동하는지 확인하고 이것을 실제로 서비스로 올렸을 때 어느 정도의 성능을 낼 수 있는지 확인하는 과정이다. 성능은 답변의 정확도, 답변의 속도를 말한다.모델을 평가하기 위해서는 데이터가 필요한데, 수집된 데이터를 다음과 같이 훈련, 검증, 테스트 용도로 나눠야 한다. 훈련 데이터는 말 그대로 모델을 훈련시킬 때 사용하고 검증과 테스트는 모델의 성능을 평가하기 위한 용도로 사용한다.검증 데이터와 테스트 데이터의 차이점에 대해 이해가 어려울 수 있다. 검증 데이터는 모델의 하이퍼파라미터를 조정하고 모델의 성능을 중간 평가하는 데 사용한다. 테스트 데이터는 모델의 최종 성능을 평가하는 데 사용된다. 모델이 완전히 학습되고 나서 실제로 데이터에 모델을 적.. 더보기
[AI] RAG로 LLM 서비스 구성 과정 (키워드만) Load문서 로딩: 문서(pdf, word), RAW Data, 웹 페이지, Markdown, Notion 등 데이터 읽기Split분할: 불러온 문서를 chuck 단위로 분할Embedding임베딩: 문서를 벡터 표현으로 변환VectorStore벡터DB: 변환된 벡터를 DB에 저장Retrieval검색: 유사도 검색(similarity, mmr), Multi-Query, Multi-RetrieverPrompt프롬프트: 검색된 결과를 바탕으로 원하는 결과를 도출하기 위한 프롬프트Model모델: LLM 모델 선택Output결과: 텍스트, JSON, Markdown 더보기
반응형

티스토리툴바