토니의 연습장

RAG 단계 요약 본문

언어 AI (NLP)/LLM & RAG

RAG 단계 요약

bellmake 2025. 2. 6. 11:27

 

1. Document Load

 

2. Document Split

 

3. Embedding Function 선언

 

ex1)

 

ex2)

 

4. vectorDB 생성 / 문서 추가

 

 

참고) 경로:페이지:청크

pdf 경로 : 페이지 번호 : 청크 번호

 

 

5. DB 업데이트

 

6. RAG serve : Local / via Cloud

ex) Local : ollama

      Cloud : HuggingFace

 

7. RAG test (간이평가)

Unit Test 활용 (PyTest)

 

함수 구조
응답과 정답이 유사한지를 LLM 을 활용하여 확인
함수화
Positive Case (assert -> response/answer match) 와 Negative Case (assert not -> response/answer unmatch) 모두 테스트 하는 것이 좋음

 

 

8. RAG evalution (세부평가)

 

 

 

참고) https://youtu.be/2TJxpyO3ei4

'언어 AI (NLP) > LLM & RAG' 카테고리의 다른 글

gguf/safetensor 로 ollama 모델 만들기  (0) 2025.02.11
db.add_documents() 특징  (0) 2025.02.06
SFT 와 RLHF  (1) 2025.02.04
ollama 참고  (0) 2025.01.23
Embedding - 개인 자원 고려하기  (2) 2025.01.23