База
Token
Суть в одном предложении:
Кусочек текста, который ИИ читает за один раз.
Развернутое определение
Условная единица текста, на которые модель разбивает входные данные. ~4 символа английского или ~1-2 символа русского.
Пример из практики
Слово «привет» = 3 токена. Модели имеют лимит токенов (например 128 000).
Как говорят в чатах вайбкодеров
«Сжёг полмиллиона токенов на один файл»