🧠 Transformer의 숨은 핵심: 입력 임베딩과 위치 인코딩

 

🧠 Transformer의 숨은 핵심: 입력 임베딩과 위치 인코딩

Transformer 모델이 텍스트를 이해하고 처리하는 데 있어
종종 간과되지만 가장 중요한 역할을 하는 구성 요소가 있습니다.
바로 **입력 임베딩(Input Embeddings)**과 **위치 인코딩(Positional Encoding)**입니다.

---

🧱 입력 임베딩 (Input Embeddings)

입력 임베딩은 텍스트의 각 토큰(단어, 부분어 등)을 고차원 벡터로 변환하는 과정입니다.
이 벡터는 단순한 숫자 배열이 아니라, **의미적인 공간(semantic space)**에서의 위치를 나타냅니다.

• 비슷한 의미를 가진 단어들은 임베딩 공간에서도 가까이 위치함
• 이 벡터는 모델이 문맥을 이해하고, 단어 간 관계를 파악하는 데 필수적임

예:

• “king” - “man” + “woman” ≈ “queen” 같은 연산이 가능한 것도 이 구조 덕분입니다.

---

📍 위치 인코딩 (Positional Encoding)

Transformer는 RNN과 달리 순서를 고려하지 않는 구조입니다.
그래서 “나는 너를 사랑해”와 “사랑해 나는 너를”을 똑같이 본다면 문제가 생깁니다.
이 문제를 해결하기 위해 위치 정보를 벡터에 더하는 방식을 사용합니다.

📐 수학적 정의 (정적 위치 인코딩, sin/cos 기반)

PE(pos,2i)=sin⁡(pos100002idmodel)PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right) PE(pos,2i+1)=cos⁡(pos100002idmodel)PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right)

• pospos: 단어의 위치
• ii: 임베딩 차원 인덱스
• dmodeld_{model}: 모델의 임베딩 차원

이 sin/cos 패턴은 상대적 거리와 절대적 위치 모두를 부드럽게 인코딩할 수 있습니다.

---

🌀 발전된 위치 인코딩 기법

• Learnable Positional Embedding: 학습 가능한 파라미터로 대체
• RoPE (Rotary Positional Embedding): 각도 회전을 통해 상대적 위치 정보 학습
• ALiBi: Attention bias 방식으로 계산 비용 절감

---

💡 저의 생각

반응형

많은 사람들이 Transformer 모델의 attention 메커니즘에 집중하지만,
입력 임베딩과 위치 인코딩 없이는 모델이 아무것도 할 수 없습니다.

특히 위치 인코딩은 단순히 기술적인 디테일이 아니라,
자연어에서 "문장의 흐름"을 인식시키는 열쇠입니다.

요즘은 LLM들이 매우 커졌기 때문에, RoPE나 ALiBi처럼 효율적이고 범용성 있는 방식이 더 각광받고 있습니다.
하지만 원리를 모르면 튜닝도 어렵고, 디버깅도 쉽지 않기 때문에 기본 원리를 반드시 이해해둘 필요가 있습니다.

---

 

Transformer, 입력 임베딩, 위치 인코딩, Positional Encoding, 자연어 처리, 딥러닝,
RoPE, Transformer 구조, NLP 기초, AI 모델 학습

---