Старший

Inference

💡 Момент, когда ИИ думает над ответом.

Определение

Процесс генерации ответа моделью. В отличие от обучения, inference — это использование уже готовой модели.

Пример

Каждый раз когда вы отправляете промпт — происходит inference.

Как говорят вайбкодеры

««Inference на CPU в 10 раз медленнее чем на GPU»»