토니의 연습장

1) 딥러닝 논문을 어떻게 읽을까? 1단계: 외부 맥락 파악하기2단계: 첫 번째 읽기 – 내부 맥락 파악하기 딥러닝 논문을 읽기 어렵게 만드는 5가지 종류의 '알 수 없음(Unknown)'알려져 있다고 암시되는 외부적인 알 수 없음.저자들이 설명하는 내부적인 알 수 없음.저자들이 이해하지 못하는 (또는 해당 분야 전체가 아직 이해하지 못하는) 내부적인 알 수 없음.저자들이 도입한 내부적인 오류 (가끔 발생함).리뷰어들이 추가하라고 해서 들어간 쓸모없는 내용 (보통 눈에 띔). 3단계: 첫 번째 읽기 – 외부 지식의 공백을 채우기4단계: 두 번째 읽기 – 개념적 이해하기5단계: 두 번째 읽기 – 코드 심층 이해  2) 딥러닝 코드베이스를 어떻게 읽을까? 0단계: 논문을 읽어서 맥락 정보를 파악한다.1단계:..

✅ 핵심 특징모델 압축 (Model Compression)큰 모델(teacher)의 지식을 작은 모델(student)에 전달해 경량화된 모델을 만듦.소프트 타겟 (Soft Targets)정답 레이블(hard label)뿐만 아니라, teacher의 예측 확률 분포(soft label)를 student가 학습함.이 soft label에는 클래스 간의 유사도 정보가 담겨 있음.일반화 성능 향상student 모델이 단순히 hard label만 학습할 때보다 더 좋은 일반화 성능을 보일 수 있음.모델 구조 유연성student는 반드시 teacher와 같은 구조일 필요는 없음. 훨씬 작거나, 다른 구조여도 가능.  ✅ Distillation Loss의 정의Distillation Loss는 Knowledge Dis..