Выживание

Token

💡 Кусочек текста, который ИИ читает за один раз.

Определение

Условная единица текста, на которые модель разбивает входные данные. ~4 символа английского или ~1-2 символа русского.

Пример

Слово «привет» = 3 токена. Модели имеют лимит токенов (например 128 000).

Как говорят вайбкодеры

««Сжёг полмиллиона токенов на один файл»»