Senior
Inference
Суть в одном предложении:
Момент, когда ИИ думает над ответом.
Развернутое определение
Процесс генерации ответа моделью. В отличие от обучения, inference — это использование уже готовой модели.
Пример из практики
Каждый раз когда вы отправляете промпт — происходит inference.
Как говорят в чатах вайбкодеров
«Inference на CPU в 10 раз медленнее чем на GPU»