토니의 연습장

1. Step 0: Unsupervised pre-training (비지도 사전 학습)데이터: 저품질의 대규모 인터넷 텍스트 (> 1조 토큰).훈련: 언어모델링 (다음 단어 예측).결과 모델: Pretrained LLM (πθ₀).→ GPT 같은 대형 언어모델의 기본 뼈대가 여기서 만들어짐.2. Step 1: Supervised fine-tuning (지도 미세 조정)데이터: 고품질 시연 데이터 (human demonstration, 즉 사람이 직접 작성한 좋은 대화 예시).훈련: Supervised finetuning (모범적인 답변으로 모델을 미세 조정).결과 모델: SFT 모델 (πθSFT).→ 기본 모델보다 대화형 태스크에 맞게 "훈련된 모델"이 됨.3. Step 2: Fit a reward mo..

상세 설명 : https://chatgpt.com/share/68ad620f-37a8-8009-b2c7-6135f88d077c

Self-Supervised Learning Downstream Task 에 제한을 받지 않고 대용량 데이터 자체에서 학습 1. Generative Learning 예를 들어, image classification 이라면 위에서 Encoder 부분만 있으면 되지만,image generation 이라면 Decoder 부분도 학습해야 하며 cost 가 크다

"Unsloth"은 딥러닝—특히 대형 언어 모델(LLM)의 파인튜닝(fine-tuning) 및 추론(inference)—을 보다 빠르고, 메모리 효율적이며, 직관적으로 수행할 수 있도록 설계된 오픈소스 프레임워크입니다.주요 특징 및 장점1. 고속 훈련·추론 & 메모리 절약 최적화속도 향상: Flash Attention 2, Triton 기반의 fused GPU 커널 활용 등으로 전통적인 Hugging Face 방식 대비 2배~5배 빠른 속도를 구현합니다 GitHub+11Medium+11DataCamp+11.메모리 절약: QLoRA(Quantized LoRA, 4‑bit) 및 8/16‑bit 정량화를 통해 70% 이상 VRAM 절감, 더 작은 GPU에서도 대형 모델 파인튜닝 가능 LearnOpenCV+2R..

1. dim=0 기준 : "행 기준/고정하고 열별로 값 찾기"torch.max(A, dim=0) -> dim=0 : "dim=0(행) 기준으로 위아래에서 프레스로 눌러서 각 열별로 최대값만 살아남는다"-> 각 열별로, 결과는 열의 개수만큼 값과 해당되는 행 인덱스 반환 -> 열 개수만큼 원소 갖는 1차원 형태 결과 나옴 (shape : 상수)-> keepdim=True 를 해 주면 tensor(1행, 열개수만큼의 열) 의 2차원 행x열로 결과 나옴 ex) torch.randn(3,4) 에서 torch.max(A, dim=0) 결과 원소 4개 갖는 1차원 행 나옴 torch.max(A, dim=0, keepdim=True) 결과 tensor(1, 4) 형태 나옴dim=0: 행(0축)을..

Text-to-Image 생성모델의 시작점참고 : https://youtu.be/-e-vW1j132A