토니의 연습장
분산/병렬 처리 (DDP/MP) 본문
DDP : Distributed Data Parallel
DMP : Distributed Model Parallel
출처 : https://youtu.be/Wer9odeBWNg
without accumulation : 순차 처리 방식
with accumulation : 병렬 처리 방식 (multi-gpu)
출처 : https://youtu.be/toUSzwR0EV8
'언어 AI (NLP) > LLM & RAG' 카테고리의 다른 글
| Distillation (0) | 2025.04.03 |
|---|---|
| Langchain - pipe 활용 (0) | 2025.03.24 |
| RAG 성능 테스트를 위한 함수 정의 (0) | 2025.03.06 |
| RAGAS 를 이용한 RAG 평가 (0) | 2025.02.27 |
| RAG - AI Agent 예시 (0) | 2025.02.18 |
'언어 AI (NLP)/LLM & RAG' Related Articles
more
