Linear Layer

Linear Layer는 딥러닝의 가장 기본적인 구성요소 중 하나이다. 딥러닝을 시작하는 단계라면, Linear Layer의 동작 원리와 역할을 이해하는 것이 중요하다.

 

1. Linear Layer란?

Linear Layer는 인공 신경망의 기본 구성 요소로, 입력 벡터를 선형 변환(Linear Transformation)해서 출력 벡터를 만든다. 이는 다음과 같은 수식으로 표현될 수 있다.

\[ y=Wx+b\]

여기서:

• \(y\)는 출력 벡터
• \(W\)는 가중치 행렬 (wegihts)
• \(x\)는 입력 벡터
• \(b\)는 편향 벡터 (bias)

이 수식을 통해 입력 데이터를 가중치와 편향을 사용해 선형 변환한 결과를 얻는다.

 

2. Linear Layer의 역할

Linear Layer는 다음과 같은 중요한 역할을 한다.

• 특성 추출 (Feature Extraction): 입력 데이터에서 중요한 특성을 추출하여 다음 레이어로 전달한다.
• 차원 축소 (Dimensionality Reduction): 고차원의 데이터를 저차원으로 변환하여 계산 효율성을 높인다.
• 기초 연산 (Basic Operations): 복잡한 비선형 모델의 기본 빌딩 블록으로 사용된다.

 

3. Linear Layer의 동작 방식

가중치와 편향

Linear Layer는 학습 가능한 매개변수인 가중치 \(W\)와 편향 \(b\)로 구성된다. 학습 과정에서 이 매개변수들은 입력 데이터에 맞게 최적화된다. 입력 벡터 \(x\)가 주어지면, 가중치 행렬과 곱하고 편향 벡터를 더하여 출력 벡터 \(y\)를 계산한다.

 

Forward Propagation (순전파)

Forward Propagation 단계에서는 입력 데이터를 레이어를 통해 순차적으로 전달하며 출력을 계산한다. Linear Layer의 경우, 입력 데이터 \(x\)에 대해 위의 선형 변환을 수행하여 출력을 얻는다.

 

Backward Propagation (역전파)

Backward Propagation 단계에서는 출력과 실제 값 사이의 오차를 기반으로 가중치와 편향을 업데이트한다. 이 과정에서 체인 룰(Chain rule)을 사용하여 각 매개변수의 그래디언트를 계산한다.

 

4. 파이썬 코드 예제

파이썬과 PyTorch 라이브러리를 사용해 아주 간단한 Linear Layer를 구현해보자.

import torch
import torch.nn as nn

# 입력과 출력의 차원 정의
input_dim = 5
output_dim = 3

# Linear Layer 정의
linear_layer = nn.Linear(input_dim, output_dim)

# 임의의 입력 데이터 생성
x = torch.randn(1, input_dim)

# Forward Propagation
y = linear_layer(x)

print("입력 데이터: ", x)
print("출력 데이터: ", y)

위 코드는 5차원 입력을 3차원 출력으로 변환하는 Linear Layer를 정의하고, 임의의 입력 데이터에 대해 출력을 계산하는 코드이다.

 

5. 연산 예제

여기서는 다양한 입력과 출력 벡터에 대해 Linear Layer의 연산을 살펴본다. \(y = Wx + b\)의 연산이 실제로 어떻게 이루어지는 지 손으로 계산해보자.

\[y=[W|b] \cdot [x|1] = Wx + b \]

 

6. 결론

Linear Layer는 딥러닝 모델의 기본 구성 요소로서 중요한 역할을 한다. 입력 데이터를 선형 변환하여 다음 레이어로 전달하는 간단한 레이어로, 복잡한 딥러닝 모델의 기초를 이루며, 특성 추출, 차원 축소 등의 다양한 역할을 수행한다.

 

 

 

---

참고

• https://aibyhand.substack.com/p/w3-linear-layer