Статьи с тегом #model deployment
Все записи блога с тегом model deployment.
Что такое квантизация в ИИ?
Квантизация в ИИ — это метод сжатия моделей, который снижает числовую точность весов и активаций, благодаря чему нейросети работают быстрее и потребляют меньше памяти, зачастую с минимальной потерей точности.
Что такое инференс в ИИ? | Глоссарий HyperStore
Инференс в ИИ — это процесс запуска обученной модели на новых входных данных для получения результата, например предсказания, классификации или сгенерированного текста. Это этап развёртывания, на котором модель применяет знания, полученные во время обучения, к реальным данным.