AI 모델의 파라미터는 신경망 내부에 저장된 학습된 수치로, 입력을 출력으로 변환하는 방식을 제어합니다. 각 파라미터는 기본적으로 인공 뉴런 간 연결에 대한 가중치이며, 일반적인 대규모 언어 모델은 수백억에서 수천억 개의 파라미터를 포함합니다. 종종 모델의 가중치라고 불리는 전체 파라미터 집합은 학습을 통해 생성된 결과물이며, 디스크에 저장되고 추론 시 로드되는 대상입니다.
파라미터의 작동 원리
학습 과정에서 모델은 예시를 처리하고, 예측을 수행하며, 이를 정답과 비교합니다. 그다음 옵티마이저가 경사 하강법(gradient descent)이라 불리는 과정을 통해 오류를 줄이는 방향으로 모든 파라미터를 조금씩 조정합니다. 이러한 업데이트가 수조 번 반복된 후에 파라미터는 언어, 이미지 또는 모델이 학습된 데이터에 대한 통계적 패턴을 인코딩하는 값으로 자리 잡게 됩니다.
추론 시에는 프롬프트가 숫자로 변환되어 수십 개에서 수백 개의 레이어를 통과합니다. 각 레이어에서 입력은 가중치 행렬과 곱해지고 간단한 비선형 함수를 통과하며, 어텐션 메커니즘이 모델이 위치 간 정보를 혼합할 수 있도록 합니다. 원래의 학습 데이터는 가중치에 그대로 저장되지 않으며, 대신 파라미터는 데이터의 압축된 통계적 표현을 담고 있습니다. 구체적인 예로, 트랜스포머에서 각 어텐션 헤드의 쿼리, 키, 값 투영은 모델이 다음 단어를 예측할 때 어떤 이전 단어에 주의를 기울일지를 결정하는 파라미터 행렬입니다.
파라미터가 중요한 이유
파라미터 수는 모델 능력을 가늠하는 가장 자주 인용되는 지표이며, 그럴 만한 이유가 있습니다. 파라미터가 많을수록 네트워크가 패턴을 기억하고 일반화할 수 있는 용량이 커지며, 최신 최대형 모델들은 창발적 능력을 보여줍니다. 파라미터 수는 또한 실용적인 문제도 좌우합니다. 메모리(각 파라미터는 일반적으로 FP16에서 2바이트, 공격적으로 양자화할 경우 1바이트), 토큰당 계산 비용, 지연 시간, 그리고 모델 실행이나 파인튜닝에 필요한 하드웨어가 모두 여기에 해당합니다. 이것이 바로 70억 파라미터 모델은 노트북에서 실행할 수 있지만 4000억 파라미터 모델은 보통 실행할 수 없는 이유입니다.
주요 유형
- 가중치(Weights): 입력과 은닉 상태를 곱하는 행렬에 저장되며, 파라미터의 대부분을 차지합니다.
- 편향(Biases): 활성값을 이동시키는 작은 덧셈 오프셋(레이어당 또는 뉴런당 하나).
- 임베딩 파라미터: 토큰 ID를 벡터로 변환하는 룩업 테이블로, 총 파라미터 수에 포함됩니다.
- 어텐션 파라미터: 각 트랜스포머 블록 내부의 쿼리, 키, 값, 출력 투영.
- 피드포워드 파라미터: 각 트랜스포머 블록의 두 개의 큰 완전 연결 레이어로, 일반적으로 전체 가중치의 대부분을 차지합니다.
파라미터는 또한 정밀도에 따라 흔히 분류됩니다. "70B"로 표기된 모델은 700억 개의 파라미터를 가지지만, 그 파일 크기는 32비트, 16비트, 8비트, 4비트 중 어떤 형식으로 저장되었는지에 따라 달라지며, 이 때문에 동일한 모델이라도 디스크 점유량이 약 140GB에서 35GB까지 차이가 납니다. 파라미터를 이해하면 파인튜닝, 양자화, 컨텍스트 길이, 추론 비용에 이르기까지 현대 AI의 거의 모든 다른 개념을 명확히 파악할 수 있습니다.