본문 바로가기

전체 글50

Hugging Face Transformers 라이브러리 개념과 기능 정리 Hugging Face Transformers는 다양한 사전학습된 자연어 처리 모델을 쉽게 사용할 수 있도록 제공하는 라이브러리이다.BERT, GPT, RoBERTa와 같은 모델을 직접 구현하지 않고도 간단한 코드로 불러와 사용할 수 있다.1. 주요 특징Transformers 라이브러리는 다양한 모델과 기능을 제공하여 자연어 처리 작업을 쉽게 수행할 수 있도록 도와준다.다양한 사전학습 모델 제공 (BERT, GPT 등)간단한 코드로 모델 불러오기 가능PyTorch, TensorFlow 모두 지원모델 학습 및 추론 기능 제공2. 제공 기능Transformers 라이브러리는 다양한 NLP 작업을 지원한다.텍스트 분류 (Sentiment Analysis)질의응답 (Question Answering)텍스트 생성.. 2026. 4. 19.
BERT와 GPT 차이 정리 BERT와 GPT는 모두 대규모 텍스트 데이터를 기반으로 사전학습된 대표적인 자연어 처리 모델이다.두 모델은 Transformer 구조를 기반으로 하지만, 구조와 학습 방식에서 중요한 차이를 가진다.1. BERT의 구조와 특징BERT는 Transformer의 Encoder 구조를 기반으로 한 모델이다.입력 문장을 양방향으로 이해하며, 문맥 정보를 동시에 반영할 수 있다.Transformer Encoder 기반양방향(Bidirectional) 문맥 이해Masked Language Model 방식으로 학습즉, 문장의 앞뒤 단어를 모두 참고하여 단어의 의미를 파악할 수 있다는 특징이 있다.2. GPT의 구조와 특징GPT는 Transformer의 Decoder 구조를 기반으로 한 모델이다.이전 단어들을 기반으로.. 2026. 4. 19.
Attention 메커니즘이 Seq2Seq 모델의 한계를 해결하는 방법 Attention 메커니즘Attention은 Seq2Seq 모델의 성능을 개선하기 위해 등장한 방법이다.Seq2Seq 모델은 Encoder와 Decoder 구조로 이루어져 있으며, 입력 문장을 하나의 고정된 벡터(context vector)로 압축하여 전달한다.이 방식은 구조가 단순하지만 문장이 길어질수록 정보 손실이 발생하는 문제가 있다.모든 정보를 하나의 벡터에 압축해야 함문장이 길어질수록 중요한 정보가 손실됨초반 단어 정보가 제대로 전달되지 않음Attention이 해결하는 문제Attention은 고정된 하나의 벡터에 의존하는 구조를 개선하기 위해 등장하였다.디코더가 출력 단어를 생성할 때마다 입력 문장의 모든 정보를 다시 참고하도록 만든다.출력 시마다 입력 전체를 참고필요한 정보만 선택적으로 사용정.. 2026. 4. 10.
Transformer 모델과 Seq2Seq 구조의 차이 정리 Transformer 모델Transformer는 기존 Seq2Seq 구조의 한계를 개선하기 위해 등장한 모델이다.기존 Seq2Seq 모델은 RNN 기반 구조를 사용하며, 입력을 순차적으로 처리한다.이 방식은 문장이 길어질수록 정보 손실이 발생하고, 병렬 처리가 어렵다는 문제가 있다.입력을 순서대로 처리해야 함병렬 연산이 어려움긴 문장에서 성능 저하 발생Transformer의 핵심 특징Transformer는 RNN을 사용하지 않고 Attention 메커니즘만으로 구성된 모델이다.특히 Self-Attention을 통해 문장 내 단어 간의 관계를 동시에 파악할 수 있다.RNN 없이 Attention만 사용Self-Attention 구조 활용입력을 한 번에 처리 가능Self-Attention이란Self-Atte.. 2026. 4. 10.
Word2Vec과 FastText 텍스트 데이터를 숫자로 변환하는 방법 중 하나는 단어를 벡터 형태로 표현하는 것이다.이 과정에서 대표적으로 사용되는 모델이 Word2Vec과 FastText이다.두 모델은 모두 단어의 의미를 벡터로 표현하지만, 처리 방식과 특징에서 중요한 차이를 가진다.1. Word2Vec이란 Word2Vec은 단어를 하나의 벡터로 변환하는 모델이다.문장에서 함께 등장하는 단어들을 기반으로 학습하여 의미가 비슷한 단어들이 가까운 위치에 있도록 만든다.이렇게 생성된 벡터는 단어 간의 의미 관계를 반영하게 된다. 2. Word2Vec의 특징Word2Vec은 단순한 구조를 가지면서도 단어의 의미를 잘 표현할 수 있는 모델이다.의미적으로 비슷한 단어를 가까운 벡터로 표현학습 속도가 빠르고 구조가 단순함단어 간 관계를 벡터 연산.. 2026. 4. 6.
텍스트 데이터 전처리 텍스트 데이터는 이미지와 달리 그대로 모델에 입력할 수 없다.문장은 문자열 형태이기 때문에 이를 숫자 형태로 변환하는 전처리 과정이 필요하다.이 과정은 모델의 성능에 큰 영향을 미치기 때문에 매우 중요한 단계이다.1. 텍스트 전처리가 필요한 이유딥러닝 모델은 숫자 데이터를 기반으로 연산을 수행한다.하지만 텍스트는 단어와 문장으로 이루어져 있기 때문에 그대로 입력하면 모델이 이해할 수 없다.따라서 텍스트를 모델이 처리할 수 있도록 숫자 형태로 변환하는 과정이 필요하다.2. 주요 전처리 과정텍스트 데이터 전처리는 여러 단계로 이루어지며 일반적으로 다음과 같은 과정을 거친다.1) 토큰화(Tokenization)토큰화는 문장을 단어 또는 의미 단위로 나누는 과정이다.예를 들어 "나는 학교에 간다"라는 문장은 ".. 2026. 4. 6.

티스토리툴바