토니의 연습장

출처 : https://github.com/rasbt/LLMs-from-scratch/tree/main/ch05/07_gpt_to_llama

train 하면서 주기적으로 evaluation 하고 sample text 를 generation학습하면서 수치적 평가를 병행하며, 동시에 생성 샘플을 통해 성능을 직관적으로 확인해 볼 수 있게 함 def train_model_simple(model, train_loader, val_loader, optimizer, device, num_epochs, eval_freq, eval_iter, start_context, tokenizer): # Initialize lists to track losses and tokens seen train_losses, val_losses, track_tokens_seen = [], [], [] tokens_seen,..