openAI fine-tuning

# fine tuning
response = client.fine_tuning.jobs.create(
  training_file = 'file-i8JJ5gqOJQGj1htWLdJLPydv',
  model="gpt-3.5-turbo"
)
print(response)

 

OpenAI의 파인 튜닝(Fine-tuning) 대시보드 화면으로, gpt-3.5-turbo 모델을 기반으로 한 파인 튜닝 작업의 결과를 보여줍니다. 여기서 중요한 정보들을 설명하겠습니다.

주요 정보

1. 모델 정보
   • Base model: gpt-3.5-turbo-0125라는 기본 모델을 사용하여 파인 튜닝이 수행되었습니다.
   • Output model: 파인 튜닝된 모델의 이름이 ft:gpt-3.5-turbo-0125:personal::ASyCDd5로 나타납니다.
2. 상태 (Status)
   • Succeeded 표시가 되어 있어, 파인 튜닝 작업이 성공적으로 완료되었음을 의미합니다.
3. 학습 정보
   • Trained tokens: 5,672개의 토큰이 파인 튜닝 과정에서 사용되었습니다.
   • Epochs: 8번의 에포크를 통해 학습이 진행되었습니다.
   • Batch size: 1
   • LR multiplier: 학습률 배율이 2로 설정되었습니다.
   • Seed: 767621143이라는 시드 값이 사용되었습니다.
4. 체크포인트 (Checkpoints)
   • 학습 중 중간 체크포인트가 저장되었습니다. 체크포인트는 step-72와 step-84에서 저장되었으며, 최종 체크포인트는 ft:gpt-3.5-turbo-0125:personal::ASyCDd5입니다.
5. 파일 정보
   • Training file: datafile_nostring_around_data.jsonl이라는 JSONL 파일이 학습에 사용되었습니다.
   • Validation file: 별도의 검증 파일은 설정되지 않았습니다.
6. Training loss (훈련 손실)
   • 손실 그래프가 제공되며, 시간이 지남에 따라 훈련 손실이 감소한 것을 보여줍니다. 마지막 훈련 손실은 0.00347로 낮은 값을 기록하고 있습니다.
7. 메시지 (Messages)
   • 작업 완료 시간과 새롭게 생성된 파인 튜닝 모델이 있다는 메시지가 나타나 있습니다.
   • 체크포인트가 step-84에서 생성되었음을 알려주는 메시지도 포함되어 있습니다.

요약

• 이 파인 튜닝 작업은 gpt-3.5-turbo 모델을 기반으로 수행되었으며, 총 5,672개의 토큰을 8번의 에포크로 학습했습니다.
• 최종 모델과 중간 체크포인트가 저장되어 있어, 원하는 단계에서 학습 상태를 불러올 수 있습니다.
• 손실 그래프를 통해 학습 과정에서 손실이 안정적으로 감소했음을 확인할 수 있습니다.