model deployment 태그가 달린 모든 블로그 글.
AI의 양자화는 가중치와 활성화의 수치 정밀도를 낮춰 신경망이 더 빠르게 실행되고 메모리를 덜 사용하도록 하는 모델 압축 기법으로, 정확도 손실은 미미한 경우가 많습니다.
AI에서의 추론은 새로운 입력에 대해 학습된 모델을 실행하여 예측, 분류, 생성된 텍스트와 같은 출력을 생성하는 과정입니다. 이는 모델이 학습 중에 배운 내용을 실제 데이터에 적용하는 배포 단계입니다.
