LLM 썸네일형 리스트형 다중 의도 처리 (Multi-intent Handling) 다중 의도(Multi-intent) 처리 방식순차 실행 (Sequential Execution)사용자가 한 문장 안에 여러 명령을 말해도 시스템은 이를 분리해서 차례로 실행한다.예 : 음악을 틀고 불을 꺼줘. > [명령1 : 음악 재생] > [명령2 : 조명 끄기]병렬 실행 (Parallel Execution)시스템이 동시에 여러 명령을 실행할 수 있다면 동시에 처리한다.다만, 제어나 API 호출이 얽혀 있는 경우 충돌 방지 로직이 필요하다.대화 관리(Dialog Management) 모듈의도 분류 (Intent Classification)사용자 발화를 여러 의도로 분해한다.예 : "내일 오전 9시에 회의 일정을 잡고, 거실 조명을 꺼줘."의도1 : 일정 생성의도2 : 스마트홈 제어슬롯 추출 (S.. 더보기 [AI] LLM 모델의 평가 및 검증 모델의 평가 및 검증 방법모델의 평가와 검증은 얼마나 잘 작동하는지 확인하고 이것을 실제로 서비스로 올렸을 때 어느 정도의 성능을 낼 수 있는지 확인하는 과정이다. 성능은 답변의 정확도, 답변의 속도를 말한다.모델을 평가하기 위해서는 데이터가 필요한데, 수집된 데이터를 다음과 같이 훈련, 검증, 테스트 용도로 나눠야 한다. 훈련 데이터는 말 그대로 모델을 훈련시킬 때 사용하고 검증과 테스트는 모델의 성능을 평가하기 위한 용도로 사용한다.검증 데이터와 테스트 데이터의 차이점에 대해 이해가 어려울 수 있다. 검증 데이터는 모델의 하이퍼파라미터를 조정하고 모델의 성능을 중간 평가하는 데 사용한다. 테스트 데이터는 모델의 최종 성능을 평가하는 데 사용된다. 모델이 완전히 학습되고 나서 실제로 데이터에 모델을 적.. 더보기 LLM Leaderboard Open LLM LeaderboardHugging Face에서 제공하는 LLM 리더보드로 모델에 대한 자세한 정보와 쿼리가 포함된 데이터셋을 제공하고 있다.주요 제공 콘텐츠로는 LLM 순위표-가장 좋은 평가를 받는 모델 목록(LLM Leaderboard best models), 모델 벤치마크 (The Big Benchmarks Collection), 유용한 리더보드 도구(Useful leaderboard tools) 및 데이터셋을 제공한다.https://huggingface.co/spaces/open-llm-leaderboard/open_llm_leaderboard#/ Open LLM Leaderboard - a Hugging Face Space by open-llm-leaderboard huggingf.. 더보기 이전 1 다음
