신경망은 뉴런 또는 노드라고 불리는 단순한 연산 단위들이 층(layer)을 이루고, 가중치(weight)라고 부르는 조정 가능한 강도로 서로 연결된 형태의 머신러닝 모델입니다. 각 뉴런은 숫자 값을 입력받아 가중치를 곱하고 편향(bias)을 더한 뒤, 그 결과를 비선형 함수를 통해 전달합니다. 이러한 층을 여러 개 쌓음으로써 신경망은 픽셀, 단어, 오디오 파형 같은 복잡한 입력을 클래스 레이블, 번역된 문장, 생성된 이미지와 같은 출력으로 매핑하는 방법을 학습할 수 있습니다.
신경망의 작동 원리
학습 과정에서는 네트워크에 여러 예시(예를 들어 "고양이" 또는 "강아지"로 레이블이 지정된 수천 장의 사진)가 입력되어 예측을 생성합니다. 손실 함수(loss function)는 그 예측이 얼마나 틀렸는지를 측정하고, 역전파(backpropagation)라는 알고리즘이 네트워크의 각 가중치가 그 오차에 얼마나 기여했는지를 계산합니다. 보통 경사 하강법(gradient descent)의 변형인 최적화 알고리즘이 모든 가중치를 조금씩 조정하여 오차를 줄입니다. 이 과정을 많은 예시에 걸쳐 반복하면 네트워크의 가중치가 데이터의 유용한 통계적 규칙성을 포착하는 값으로 수렴합니다.
네트워크의 깊이(층 수)는 중요한 의미를 갖습니다. 첫 번째 층들은 보통 모서리나 글자 획 같은 단순한 특징을 학습하고, 더 깊은 층들은 그 특징들을 결합하여 형태, 단어, 객체와 같은 더 풍부한 개념을 만들어냅니다. 이러한 표현의 계층 구조(hierarchy of representations)가 바로 딥러닝 기반 신경망이 인지(perception) 관련 과제에서 뛰어난 성능을 보이는 이유입니다. 아키텍처와 학습 알고리즘에 대한 널리 인용되는 개관으로는 LeCun, Bengio, Hinton의 2015년 Nature 딥러닝 리뷰를 참고하실 수 있습니다.
왜 중요한가
신경망은 2020년대에 주류가 된 대부분의 AI 기능, 즉 이미지 분류, 음성 인식, 기계 번역, 추천 시스템, 그리고 대화형 어시스턴트를 구동하는 대규모 언어 모델 등을 뒷받침합니다. 신경망은 사람이 직접 규칙을 작성하기는 어렵지만 레이블이 있거나 없는 대량의 데이터가 존재하는 문제에서 특히 뛰어난 성능을 발휘합니다. 동일한 아키텍처를 상대적으로 적은 코드 변경만으로 새로운 도메인에 재학습시킬 수 있기 때문입니다.
주요 유형
- 순방향 신경망(Feedforward Neural Network, FNN): 가장 단순한 형태로, 신호가 입력에서 출력 방향으로 한 방향으로만 전달됩니다. 다층 퍼셉트론(multilayer perceptron)이 대표적 예입니다.
- 합성곱 신경망(Convolutional Neural Network, CNN): 공유 가중치 필터를 사용하며, 이미지와 비디오에 이상적입니다.
- 순환 신경망(Recurrent Neural Network, RNN): 이전 단계의 정보를 기억하는 루프 구조를 가져, 텍스트나 센서 데이터 같은 시퀀스에 적합합니다. 언어 처리에서는 Transformer에 의해 상당 부분 대체되었습니다.
- Transformer: 순환 구조가 아닌 어텐션(attention)에 기반한 현대적인 아키텍처입니다. 오늘날의 대규모 언어 모델과 많은 비전 시스템의 근간을 이룹니다.
- 생성적 적대 신경망(Generative Adversarial Network, GAN): 생성자(generator)와 실제 샘플과 가짜 샘플을 구별하는 판별자(discriminator)를 짝지어, 이미지 합성 등에 사용됩니다.
각 변형은 특정한 종류의 데이터에 맞도록 기본적인 뉴런과 가중치의 방식을 재배열하거나 특화시킨 것이지만, 손실에 대한 경사 하강법으로 가중치를 학습한다는 근본적인 원리는 그대로 유지됩니다.