Коротко

Бот забывает не из вредности, а из-за размера «рабочего стола» модели. У JLLM он, по справке Janitor, около 8-9 тысяч токенов, и в него входят карточка бота, память чата, расширенный промпт и последние реплики. Переполнили — вылезает «context rot»: путаются имена, пропадают договорённости, меняется тон. Лечится краткой структурной памятью и регулярными итогами, а не добавлением всё новых деталей.

Что такое окно контекста простыми словами

Модель не помнит ваш чат. Каждый раз сайт собирает для неё один документ: описание персонажа, ваша персона, заметки памяти, а следом — последние реплики, пока есть место. Всё, что не влезло, она просто не видит. Для неё это не «забыла», а «никогда не читала».

Токен — это кусочек слова, а не слово: в русском тексте на одно слово обычно приходится больше токенов, чем в английском. Подробнее об этом — в статье что такое токены в нейросети. Для длинной русской сцены 8-9 тысяч набираются быстрее, чем кажется.

Как выглядит переполнение

  • Бот путает, кто есть кто: меняет имена и роли.
  • Забывает, где вы находитесь и что только что случилось.
  • Тон сцены съезжает: мрачная драма вдруг становится лёгкой болтовнёй.
  • Повторяет уже сказанное или противоречит себе.

Если бот ещё и пишет за вас, это отдельная история, она разобрана в статье Janitor AI не работает в России. А что делать с ошибками модели — в материале Janitor AI: ошибки и молчащий бот.

Шаблон памяти, который рекомендует справка

Справка Janitor советует держать память коротким списком по разделам. Не рассказ, а пометки на стикерах:

  • Обстановка: где вы сейчас и что вокруг. Две-три короткие фразы.
  • Отношения: что между вами и героем. Только значимое, без настроений.
  • Сюжет сейчас: что происходит в этот момент, глаголами.
  • Заметки о герое: факты, которых нет в его характере, например инвентарь.
  • Заметки о вас: то же для вашего героя.
  • Важные события прошлого: коротко и по делу.

Правило справки: не «сколько можно впихнуть», а «чтобы каждый токен работал». Короткие фразы вместо сцен, факты о том, что есть, а не о том, что персонаж «всегда делает».

Итоги как сохранение в игре

Самый надёжный приём из справки: время от времени просите модель подвести итог и вставляйте его в память. Так важное остаётся, даже когда чат на сотни сообщений. Для этого сервисная просьба помечается как внеигровая, чтобы бот не отвечал в роли. В справке приводятся образцы запросов на английском: пауза ролёвки и краткое резюме событий вместе с последствиями.

Принцип общий для любых моделей: отделяйте служебные просьбы от сцены и просите коротко. Как правильно строить такие просьбы, разбираем в статье как написать промт.

Ваш стиль заражает бота

Другая справочная статья Janitor подмечает: JLLM зеркалит вас. Пишете пышно и развёрнуто — отвечает так же. Начали писать обрывками — подтянется. Последовательность важнее красоты. Если всё развалилось, чистая страница иногда выручает лучше, чем ещё один костыль: справка прямо советует начать новый чат.

А если чат пропал целиком

Справка про пропавшие чаты скромна: отправьте сообщение в нужном чате и обновите страницу. Если не помогло, восстановить, возможно, не получится: часть чатов бывает потеряна при переносе серверов. Поэтому важные сцены стоит сохранять у себя.

Если не хочется вести память руками

На my-idol.ru память собирает сам сервис: переписку разбирают на события, и персонаж получает справку о вас. Держать шаблоны и итоги вручную не нужно. Как это устроено, в статье память ИИ-персонажа, а страница сервиса для тех, кто искал Janitor, — Janitor AI на русском: аналог.

Честно об ограничениях

  • Наша память тоже не идеальна: она может упустить мелочь или подменить деталь. Поправки в разговоре («нет, сестру зовут Аня») обычно срабатывают.
  • Память живёт внутри одного чата. Новый чат с тем же героем начинается с чистого листа.
  • Вручную настроить память по шаблону, как на Janitor, у нас нельзя: гибкость там выше.
  • Каталог меньше, чем у Janitor, а у бесплатного доступа есть дневной лимит сообщений.
Проверить память героя

Расскажите персонажу о себе пару деталей и вернитесь через несколько сообщений: удержит ли он нить.

Открыть каталог героев