Transformer 요약

 

기존 모델(RNN, LSTM 등)은 앞에서부터 순차적으로 데이터를 처리했는데,
Transformer는 입력 데이터를 한 번에 병렬로 처리할 수 있어서 성능과 효율성이 뛰어남

• • 병렬처리 가능
  • 장거리 문맥 이해 능력 탁월
  • Attention 메커니즘 기반

 

• Encoder: 입력 문장을 표현(Embedding)을 통해 이해하고 정보를 압축함.
• Decoder: Encoder에서 압축된 정보를 바탕으로 새로운 문장을 생성함.

*Self-Attention : Multi-Head Attention