토니의 연습장
advancedGAN 이론 본문
[ Wasserstein GAN ]
1. 배경 : 기존 basicGAN의 문제점
(1) Mode Collapse
(2) BCE Loss 문제점 (gradient)
2. 해결 : Wasserstein Loss
3. 추가적용 : Critic의 gradient가 너무 커지지 않도록 1-lipschitz 연속성 조건 도입(critic)
아래와 같이 두 가지 방안 중에 Weight Clipping은 좋지 않은 방법으로, Gradient penalty가 적용됩니다.
이 때, 현실적으로 매번 gradient를 계산할 수 없으므로 real과 fake의 interpolated mix를 통해 이를 gp equation에 위와 같이 대입함으로써 gradient penalty를 계산합니다. (gradient의 norm에서 1을 뺀 값의 제곱)
4. Conv layer 적용
Conv2d 와 ConvTranspose2d 의 차이
