Magnific

Вы задумывались, как устроена нейросеть? Как ее алгоритмы удивляют нас своей человечностью? Изобретателей генеративных моделей вдохновил человеческий мозг. Но начнем с того, зачем вообще люди придумали нейросеть.

Зачем люди изобрели нейросеть

Причин много. Как минимум, сломалось традиционное программирование.  Сломалось о наши запросы. Обычно люди пишут: «Если А, то делай Б». Но как написать инструкцию для распознавания кошки на фото? Попробуйте сформулировать точный алгоритм. «У кошки есть усы, лапы и хвост». Но у собаки тоже документы имеются. А если кошка свернулась калачиком или спрятала лапы под себя? Значит, уже не кошка? Люди не могли перевести на язык кода свой собственный зрительный опыт. Поэтому пришлось создать систему, которая пишет правила сама, изучая примеры (кстати, каждый из нас когда-нибудь делал вклад в обучение нейросетей, проходя капчу)

Кроме того, романтическая мечта о копировании человеческого мозга занимает не только умы писателей-фантастов. В отличие от компьютера, где процессор делает все шаг за шагом, мозг работает параллельно и невероятно энергоэффективно. Они подумали: «А что, если взять математическую модель одного нейрона и соединить их в огромную сеть? Может быть, разумность появится сама собой, как у муравьев в муравейнике?» Так родилась идея нейросети как упрощенной цифровой копии коры головного мозга.

Продолжение ниже

Продолжение

Нейросети придумали в 1943 году. Сделали это Уоррен Мак-Каллок и Уолтер Питтс. К сожалению, они родились раньше, чем хотелось бы. Компьютеры были слабыми, а данных мало.

Однако ученые не бросили эту идею, потому что это была единственная теория, объясняющая, как из «мертвого железа» может родиться живое мышление. И только в 2010-х, когда появились мощные видеокарты (GPU) и интернет с миллиардами фото, их мечта наконец заработала. И вот как.

Как работает нейросеть

Мак-Каллок и Питтс в поиске ответа на вопрос «Как мысль рождается в физической материи мозга?» придумали упрощенную модель нейрона человеческого мозга. Сильно упрощенную, но рабочую. Работает она по принципу «все или ничего»:

1. Нейрон получает сигналы от других нейронов.
2. Каждый вход имеет свой вес, показывающий его важность.
3. Нейрон складывает все взвешенные входные сигналы.
4. Если сумма превышает определенный порог — нейрон активируется и посылает сигнал дальше. Если нет — он молчит.
5. Наличие хотя бы одного тормозящего сигнала полностью блокирует нейрон, независимо от других входов.

Гениальное просто. Эти математические узлы лежат в основе работы нейросети. Однако нейроны Мак-Каллока-Питтса сами по себе необучаемы.

Как обучают нейросеть

В самом начале все веса у нейросети случайные. Для нее что кошка, что собака — все равно. Поэтому, когда у нас только появились нейросети, они выдавали полную белиберду. Вот как обучают нейросеть.

• Нейросети дают пример: картинку и подпись «это кошка».
• Она пропускает картинку через свои слои и выплевывает ответ, например, «собака» с вероятностью 70%.
• Сравнивают ее ответ с правильным («кошка») и вычисляют ошибку — насколько она промахнулась.
• Теперь наступает самое хитрое: ошибка «бежит» обратно по всем этажам (это называется обратное распространение), и каждый нейрон чуть-чуть подкручивает свои веса так, чтобы в следующий раз ошибка была меньше. Если он слишком громко кричал «собака» — он чуть убавляет важность тех признаков, которые указывали на собаку, и прибавляет те, что указывают на кошку.
• Этот цикл повторяется миллионы раз с разными картинками. После каждого круга веса чуть-чуть меняются, и нейросеть постепенно перестает ошибаться — она настраивается.

Нейросеть все понимает?

Нет. Нейросеть ничего не понимает. Она не знает, что такое уши, хвост или лапы у кота. Она лишь находит в огромном море чисел статистические закономерности — например, что определенное сочетание темных пикселей часто сопровождается словом «собака». Это как если бы вы запомнили, что французские фильмы чаще всего начинаются с титров на французском, но вы совсем не понимаете французский язык. Нейросеть тоже не понимает смысла — она просто очень хорошо угадывает по предыдущему опыту. Вот и вся магия развеялась.

Нейросеть и ИИ не одно и то же?

Искусственный интеллект — это область компьютерных наук. Она включает в себя тысячи методов: логические правила, поисковые алгоритмы (как в шахматах), генетические алгоритмы, экспертные системы и т.д.

Нейросеть — это всего лишь один из методов внутри области ИИ. Она вдохновлена биологическим устройством человеческого мозга (нейронами).

ИИ может работать вообще без нейросетей, и это делали десятилетиями. Первый в мире ИИ, который обыграл человека в шашки в 1950-х, работал на обычных логических правилах и дереве решений. А в 1997 году суперкомпьютер IBM Deep Blue победил Каспарова в шахматы — в нем не было ни одной нейросети. Он просто перебирал все возможные ходы по жестким алгоритмам, написанным программистами.

Самые крутые современные ИИ — это сборная солянка из нейросетей и классических алгоритмов. Классический ИИ по правилам либо дает верный ответ, либо выдает ошибку и останавливается. Нейросеть же всегда выдает какой-то ответ, даже если данные — полный хаос. Например, она может с уверенностью сказать, что картинка с шумом — это панда, хотя человек там ничего не видит. Это свойство называют глупой уверенностью, но именно она позволяет нейросетям работать с реальным миром, где данные всегда неидеальны.

Только нейросети подозрительно становятся все идеальнее...