Статьи с тегом #tokens
Все записи блога с тегом tokens.
Что такое контекстное окно?
Контекстное окно — это максимальный объём текста, который большая языковая модель может обработать за одно взаимодействие, измеряемый в токенах. Узнайте, как оно работает и почему это важно.
Что такое токен в ИИ и языковых моделях?
Токен в ИИ — это базовая единица, которую языковая модель читает и создаёт. Узнайте, как работает токенизация, почему токены важны для стоимости и контекста и как они влияют на поведение модели.