Охота на электроовец. Большая книга искусственного интеллекта - Сергей Сергеевич Марков
На обложке ранних изданий книги Минского и Пейперта изображены туго закрученные спирали. Помимо деморализации противника (у меня нет другого объяснения фиолетовым линиям на красном фоне и красным на зелёном), эти изображения иллюстрируют две проблемы, на которых сконцентрирован анализ авторов. Одна из спиралей представляет собой единичный замкнутый контур, а вторая — два несвязанных замкнутых контура. Предикаты, вычисление которых затруднительно для сравнительно простых перцептронов, —это связность [connectedness], а также чётность, под которой понимается способность перцептрона отличить картинку с нечётным количеством фигур от картинки с их чётным числом (операция XOR является частным случаем этой проблемы). В общем-то, проблема определения чётности или нечётности минимально различимых перцептроном объектов является наихудшим случаем.
Генри Блок, математик из Корнеллского университета, работавший с Розенблаттом над перцептронами, детально разобрал критику Минского и Пейперта, уделив среди прочего внимание зацикленности последних на вопросах чётности и связности: «Другим свидетельством этой разницы во взглядах [между Розенблаттом и Минским/Пейпертом] является озабоченность Минского и Пейперта такими предикатами, как чётность и связность. Человек не может воспринимать ни чётность больших множеств (количество точек на газетной фотографии чётное или нечётное!), ни связность (на обложке книги Минского и Пейперта [«Перцептроны»] есть два объекта: один является связным, другой нет. При помощи визуального осмотра практически невозможно определить, что есть что). Розенблатт был бы рад приблизиться к человеческим возможностям и, скорее, негативно отнёсся бы к машине, которая вышла бы за их пределы, поскольку он стремился моделировать именно человеческое восприятие»[1302].
Минский и Пейперт сосредоточили своё внимание на проблемах, которые считали удобными для подтверждения собственной позиции. Своим ответом Блок показал, что эти же проблемы могут интерпретироваться иначе и что в иной интерпретации их существование может даже служить доводом в пользу перспективности нейросетевого подхода. Для Минского и Пейперта это были очень тревожные, аномальные проблемы. Исследователи нейронных сетей знали о трудностях, с которыми элементарные перцептроны сталкивались в некоторых задачах задолго до того, как Минский и Пейперт начали развивать свою критику в середине 1960-х гг.[1303] Например, среди тринадцати требующих решения проблем перцептронов, перечисленных в «Принципах нейродинамики», Розенблатт упоминает необходимость изучения возможных механизмов разделения фигур (фигура-фон) и исследования формирования абстрактных понятий и распознавания топологических или метрических отношений[1304]. Однако для коннекционистов наличие этих проблем не было сильным аргументом против нейросетевого подхода. По их мнению, элементарные перцептроны были только первой стадией исследования нейронных сетей. Розенблатт открыто признавал ограничения элементарных перцептронов, но относился к ним совершенно иначе, чем его критики. Для сторонников символьного подхода такие проблемы, как связность и чётность, были решающими аргументами против расширения исследований перцептронов вообще. Но для Розенблатта, Блока, Уидроу и прочих ограничения элементарных перцептронов были указанием на необходимость создания и исследования более сложных перцептронов. Коннекционисты подчёркивали положительные свойства элементарного перцептрона (его сходимость, подобие естественным нейронным сетям, его распределённую память, устойчивость к повреждениям, параллелизм и т. д.) и заявляли, что необходимы дальнейшие исследования более продвинутых моделей для того, чтобы получить возможность решать задачи более сложные, чем те, решения которых могут быть найдены элементарным перцептроном[1305].
Блок писал: «…Простой перцептрон (который состоит из набора входов, одного слоя нейронов и одного выхода без обратной связи или перекрёстной связи) совсем не то, что энтузиаст перцептронов мог бы считать типичным перцептроном. Его больше интересуют перцептроны с несколькими слоями, обратной связью и перекрёстными связями… сначала был изучен простой перцептрон, и для него была доказана „теорема сходимости перцептрона“. Это было обнадёживающим результатом не потому, что простой перцептрон сам по себе является адекватной моделью мозга (что, разумеется, не так; ни один из существующих перцептронов не может даже начать соревноваться с мышью!), а поскольку он продемонстрировал, что адаптивные нейронные сети в их простейших формах в принципе могут обучаться. Это говорит о том, что более сложные сети могут демонстрировать более интересное поведение. Минский и Пейперт иначе смотрят на роль простого перцептрона… Таким образом, то, что перцептронисты брали как временную опору, Минский и Пейперт интерпретируют как конечную структуру»[1306].
По вопросу о более сложных перцептронах, чем элементарный, Минский и Пейперт в своей книге 1969 г. ограничились лишь несколькими комментариями. Они сформулировали (ныне печально известное) пессимистическое «интуитивное суждение» о невозможности разработки эффективных методов обучения многослойных сетей: «Перцептрон уже показал, что его стоит изучать, несмотря на серьёзные ограничения (и даже благодаря им!). Он обладает многими свойствами, достойными внимания: линейность; интригующая теорема об обучении [о сходимости перцептрона]; очевидная простота как образца устройства для параллельных вычислений. Нет оснований предполагать, что любое из этих достоинств распространяется на его многослойный вариант. Тем не менее мы считаем, что важной исследовательской задачей является выяснение (или опровержение) нашего интуитивного суждения о том, что обсуждаемое расширение бесплодно. Разве только будет открыта какая-нибудь мощная теорема о сходимости или будет найдена некоторая глубокая причина, в силу которой для многослойной машины невозможно найти „теорему об обучении“, представляющую какой-либо интерес»[1307].
На мой взгляд, наиболее интересным вопросом является вопрос о том, действительно ли книга Минского и Пейперта оказала столь глобальное влияние на направление исследований по крайней мере на целое десятилетие. Вот что сообщает по этому поводу Бернард Уидроу:
Когда вышла книга Минского и Пейперта под названием «Перцептроны», я каким-то образом получил её экземпляр. Издатели присылают мне миллионы книг, так что эта однажды оказалась у меня в офисе. Я посмотрел на эту книгу и увидел, что они проделали серьёзную работу, и в этой книге была хорошая математика, но я сказал: «Боже мой, какой пасквиль». Я был так рад, что они назвали эту вещь перцептроном, а не адалайном, потому что на самом деле они в основном говорили об адалайне, а не о перцептроне. Я чувствовал, что они достаточно узко определили, что такое перцептрон, что они смогли доказать, что он практически ничего не мог сделать. Задолго до этой книги я уже успешно адаптировал MADALINE, который представлял собой целый набор нейронных элементов. Всё это беспокойство и муки по поводу ограничений линейной разделимости, которая является главной темой данной книги, давно преодолены.
Мы уже перестали работать над нейронными сетями. Насколько я знал, никто не работал над нейронными сетями, когда вышла эта книга. Я не мог понять, в чём смысл этого, какого чёрта они это сделали. Но я знаю, сколько нужно времени, чтобы написать книгу. Я подумал, что они, должно быть, решили написать эту книгу очень давно, чтобы
