Что такое нейросеть простыми словами: как она учится и почему ошибается

Чем нейросеть отличается от обычной программы

Обычная программа — это инструкция. Программист пишет: «если сумма больше тысячи, дай скидку пять процентов». Компьютер послушно исполняет. Всё предсказуемо, и ничего сверх написанного программа не сделает.

А теперь попробуйте написать инструкцию «как узнать кошку на фото». Уши треугольные? У лисы тоже. Усы? У тюленя тоже. Кошка свернулась клубком, спряталась за шторой, сфотографирована сверху — и все правила рассыпаются. Такие задачи правилами не решить. Здесь и нужна нейросеть: ей не объясняют, как выглядит кошка, ей показывают кошек.

Как нейросеть учится

Внутри нейросети — огромное количество связей, у каждой есть «вес»: насколько сильно она влияет на ответ. Сначала веса случайные, и сеть отвечает наугад. Ей показывают фото, она говорит «собака», ей сообщают: неправильно, это кошка. Веса чуть-чуть подкручиваются, чтобы в следующий раз ошибка была меньше.

Повторите это миллионы раз — и сеть начинает узнавать кошек на снимках, которых никогда не видела. Количество таких подстраиваемых связей называют параметрами. У больших языковых моделей их миллиарды, поэтому обучение занимает месяцы и стоит очень дорого.

Как работает языковая модель

Языковую модель учили на горах текста с одной задачей: по началу фразы угадать следующее слово. «В лесу родилась…» — «ёлочка». Звучит как игра, но чтобы угадывать хорошо, модели пришлось уловить грамматику, факты, логику рассуждений и даже манеру шутить. Умение отвечать на вопросы выросло как побочный эффект.

Из этого следуют две вещи, о которых полезно помнить:

1. Ответы каждый раз разные. Модель выбирает следующее слово с долей случайности, иначе речь звучала бы как у автоответчика.
2. Модель может выдумывать. Её задача — написать правдоподобный текст, а правдоподобное не всегда правда. Отсюда несуществующие книги и цитаты, подробнее — в статье галлюцинации нейросетей.

Относитесь к ответу нейросети как к черновику толкового стажёра. Даты, цифры и имена проверяйте, а считайте на калькуляторе: модель предсказывает текст, а не вычисляет.

Разные нейросети для разных задач

• Языковые модели пишут и разговаривают.
• Генераторы картинок рисуют по описанию.
• Модели синтеза речи превращают текст в голос.
• Модели распознавания узнают лица, номера машин, рукописный текст.

Это разные сети, обученные на разных данных. Объединяет их только принцип: учиться на примерах. Чем нейросеть отличается от ИИ вообще, разобрали в статье чем отличается ИИ от нейросети.

Почему нейросеть «помнит» разговор

Сама модель между сообщениями ничего не запоминает. Каждый раз сервис отправляет ей всю переписку заново: ваше новое сообщение плюс то, что было до него. Модель читает это целиком и пишет продолжение.

Но объём, который модель может прочитать за раз, ограничен. Поэтому длинные разговоры сервисы сжимают: старые сообщения превращаются в краткий пересказ, а главные факты о вас хранятся отдельно. Как это устроено у ИИ-персонажей, читайте в статье память ИИ-персонажа.

Значит ли это, что нейросеть думает

Нет. У неё нет желаний, намерений и понимания в человеческом смысле: она не хочет вам помочь и не обижается, когда вы её ругаете. Но и называть её «просто автодополнением» несправедливо. Это мощный инструмент со своими сильными сторонами и понятными границами.

Сильные стороны лучше всего видны в разговоре. Персонаж на языковой модели держит характер, шутит в своей манере, помнит, что вы рассказали неделю назад. Попробуйте сами — это нагляднее любой статьи.