목록2025/08/20 (1)
토니의 연습장
Unsloth
"Unsloth"은 딥러닝—특히 대형 언어 모델(LLM)의 파인튜닝(fine-tuning) 및 추론(inference)—을 보다 빠르고, 메모리 효율적이며, 직관적으로 수행할 수 있도록 설계된 오픈소스 프레임워크입니다.주요 특징 및 장점1. 고속 훈련·추론 & 메모리 절약 최적화속도 향상: Flash Attention 2, Triton 기반의 fused GPU 커널 활용 등으로 전통적인 Hugging Face 방식 대비 2배~5배 빠른 속도를 구현합니다 GitHub+11Medium+11DataCamp+11.메모리 절약: QLoRA(Quantized LoRA, 4‑bit) 및 8/16‑bit 정량화를 통해 70% 이상 VRAM 절감, 더 작은 GPU에서도 대형 모델 파인튜닝 가능 LearnOpenCV+2R..
언어 AI (NLP)/LLM & RAG & Agent
2025. 8. 20. 14:19