attention2 Attention 메커니즘이 Seq2Seq 모델의 한계를 해결하는 방법 Attention 메커니즘Attention은 Seq2Seq 모델의 성능을 개선하기 위해 등장한 방법이다.Seq2Seq 모델은 Encoder와 Decoder 구조로 이루어져 있으며, 입력 문장을 하나의 고정된 벡터(context vector)로 압축하여 전달한다.이 방식은 구조가 단순하지만 문장이 길어질수록 정보 손실이 발생하는 문제가 있다.모든 정보를 하나의 벡터에 압축해야 함문장이 길어질수록 중요한 정보가 손실됨초반 단어 정보가 제대로 전달되지 않음Attention이 해결하는 문제Attention은 고정된 하나의 벡터에 의존하는 구조를 개선하기 위해 등장하였다.디코더가 출력 단어를 생성할 때마다 입력 문장의 모든 정보를 다시 참고하도록 만든다.출력 시마다 입력 전체를 참고필요한 정보만 선택적으로 사용정.. 2026. 4. 10. Transformer 모델과 Seq2Seq 구조의 차이 정리 Transformer 모델Transformer는 기존 Seq2Seq 구조의 한계를 개선하기 위해 등장한 모델이다.기존 Seq2Seq 모델은 RNN 기반 구조를 사용하며, 입력을 순차적으로 처리한다.이 방식은 문장이 길어질수록 정보 손실이 발생하고, 병렬 처리가 어렵다는 문제가 있다.입력을 순서대로 처리해야 함병렬 연산이 어려움긴 문장에서 성능 저하 발생Transformer의 핵심 특징Transformer는 RNN을 사용하지 않고 Attention 메커니즘만으로 구성된 모델이다.특히 Self-Attention을 통해 문장 내 단어 간의 관계를 동시에 파악할 수 있다.RNN 없이 Attention만 사용Self-Attention 구조 활용입력을 한 번에 처리 가능Self-Attention이란Self-Atte.. 2026. 4. 10. 이전 1 다음