Transformer3 BERT와 GPT 차이 정리 BERT와 GPT는 모두 대규모 텍스트 데이터를 기반으로 사전학습된 대표적인 자연어 처리 모델이다.두 모델은 Transformer 구조를 기반으로 하지만, 구조와 학습 방식에서 중요한 차이를 가진다.1. BERT의 구조와 특징BERT는 Transformer의 Encoder 구조를 기반으로 한 모델이다.입력 문장을 양방향으로 이해하며, 문맥 정보를 동시에 반영할 수 있다.Transformer Encoder 기반양방향(Bidirectional) 문맥 이해Masked Language Model 방식으로 학습즉, 문장의 앞뒤 단어를 모두 참고하여 단어의 의미를 파악할 수 있다는 특징이 있다.2. GPT의 구조와 특징GPT는 Transformer의 Decoder 구조를 기반으로 한 모델이다.이전 단어들을 기반으로.. 2026. 4. 19. Attention 메커니즘이 Seq2Seq 모델의 한계를 해결하는 방법 Attention 메커니즘Attention은 Seq2Seq 모델의 성능을 개선하기 위해 등장한 방법이다.Seq2Seq 모델은 Encoder와 Decoder 구조로 이루어져 있으며, 입력 문장을 하나의 고정된 벡터(context vector)로 압축하여 전달한다.이 방식은 구조가 단순하지만 문장이 길어질수록 정보 손실이 발생하는 문제가 있다.모든 정보를 하나의 벡터에 압축해야 함문장이 길어질수록 중요한 정보가 손실됨초반 단어 정보가 제대로 전달되지 않음Attention이 해결하는 문제Attention은 고정된 하나의 벡터에 의존하는 구조를 개선하기 위해 등장하였다.디코더가 출력 단어를 생성할 때마다 입력 문장의 모든 정보를 다시 참고하도록 만든다.출력 시마다 입력 전체를 참고필요한 정보만 선택적으로 사용정.. 2026. 4. 10. Transformer 모델과 Seq2Seq 구조의 차이 정리 Transformer 모델Transformer는 기존 Seq2Seq 구조의 한계를 개선하기 위해 등장한 모델이다.기존 Seq2Seq 모델은 RNN 기반 구조를 사용하며, 입력을 순차적으로 처리한다.이 방식은 문장이 길어질수록 정보 손실이 발생하고, 병렬 처리가 어렵다는 문제가 있다.입력을 순서대로 처리해야 함병렬 연산이 어려움긴 문장에서 성능 저하 발생Transformer의 핵심 특징Transformer는 RNN을 사용하지 않고 Attention 메커니즘만으로 구성된 모델이다.특히 Self-Attention을 통해 문장 내 단어 간의 관계를 동시에 파악할 수 있다.RNN 없이 Attention만 사용Self-Attention 구조 활용입력을 한 번에 처리 가능Self-Attention이란Self-Atte.. 2026. 4. 10. 이전 1 다음