Происхождение искусственного интеллекта: история без прикрас

Тексты об ИИ обычно написаны в одном из двух режимов: восторженный хайп или показной скептицизм. Ни то, ни другое не особо полезно. То, что произошло на самом деле, интереснее: семидесятилетняя работа математиков, инженеров и нескольких одержимых энтузиастов, пытавшихся заставить машины делать то, что выглядело как мышление, используя любые инструменты, которые были под рукой. Этот текст следует за этой нитью, включая людей, тупиковые направления и два случая, когда область почти сдалась.

Предпосылки: теоретические основы (1930-е-1940-е)

Вопрос о машинном интеллекте

В 1936 году Алан Тьюринг опубликовал On Computable Numbers, описав теоретическое устройство, позже названное универсальной вычислительной машиной, способное выполнить любое вычисление, которое можно точно описать. Он не пытался построить думающую машину. Он пытался ответить на более узкий вопрос: что именно вообще можно вычислить? Этот вопрос оказался фундаментом, на котором стоит всё остальное в этом тексте.

Работа Тьюринга военного времени над взломом шифров, включая его вклад в машину «Бомба», показала, что формальные вычисления такого рода не ограничиваются теорией. Машины действительно могли выполнять задачи вроде дедукции и распознавания закономерностей в масштабах, которые до этого считались доступными только человеческому разуму.

Кибернетика и системы обратной связи

Норберт Винер посвятил 1940-е годы разработке кибернетики, науки о том, как системы, биологические или механические, регулируют себя через обратную связь. Термостат - простой пример: он фиксирует состояние и корректирует его. Идея Винера заключалась в том, что этот же цикл, обобщённый, может объяснить, как животные и в конечном итоге машины адаптируются к своей среде. Это дало области словарь для описания адаптивного поведения ещё до того, как кто-либо построил систему, достаточно сложную, чтобы в нём нуждаться.

Рождение ИИ как дисциплины (1950-1956)

Тест Тьюринга

В 1950 году Тьюринг опубликовал Computing Machinery and Intelligence, предложив то, что сейчас называется тестом Тьюринга: если человек-оценщик, общаясь вслепую и с машиной, и с другим человеком, не может надёжно определить, кто есть кто, машина проходит тест. Тьюринг отдельно подчеркнул, что это не доказывает сознание или понимание. Это лишь дало исследователям что-то конкретное для проверки вместо бесконечных философских споров.

Дартмутская конференция (1956)

Словосочетание «искусственный интеллект» не существовало до лета 1956 года, когда Джон Маккарти, Марвин Минский, Натаниэль Рочестер и Клод Шеннон организовали семинар в Дартмутском колледже, построенный на по-настоящему смелой предпосылке: что любой аспект интеллекта в принципе можно описать достаточно точно, чтобы машина могла его имитировать. Никто в Дартмуте не имел доказательств этого. Это была ставка, и следующие несколько десятилетий область выясняла, насколько эта ставка оправдается.

Ранний ИИ: символьные рассуждения и первые программы (1950-е-1960-е)

Logic Theorist (1956)

Аллен Ньюэлл и Герберт Саймон создали Logic Theorist, обычно считающийся первой программой ИИ, для доказательства математических теорем с использованием символьной логики, а не перебора. Это было не просто решение задач по математике. Это была демонстрация того, что дедуктивное мышление само по себе можно механизировать.

ELIZA (1966)

ELIZA Джозефа Вейценбаума имитировала психотерапевта, по сути лишь сопоставляя шаблоны и ловко перефразируя слова самого пользователя. ELIZA ничего не понимала. Вейценбаума встревожило то, как многим людям это было безразлично. Ранний и неприятный пример того, как легко люди проецируют понимание на систему, у которой его нет.

Пределы символьного ИИ

Программы вроде ELIZA и Logic Theorist работали, потому что их задачи были узкими и чётко определёнными. Реальная неоднозначность их ломала. К концу 1960-х стало ясно, что одни лишь системы на правилах не будут масштабироваться до чего-либо, напоминающего общий интеллект, и финансирование исследований ИИ рухнуло. Это был первый из двух периодов, известных сейчас как зимы ИИ.

Подъём экспертных систем и машинного обучения (1970-е-1980-е)

Экспертные системы

Ответ 1970-х заключался в том, чтобы пойти ещё уже и глубже: закодировать конкретные знания человека-эксперта в явный набор правил. Два примера определили эпоху:

• MYCIN, созданная в Стэнфорде на протяжении десятилетия, диагностировала бактериальные инфекции и рекомендовала лечение, работая через базу правил.
• XCON, внедрённая Digital Equipment Corporation в 1980-х, автоматически конфигурировала заказы на компьютеры. Это была одна из первых систем ИИ, которая реально экономила компании деньги.

Обе отлично работали в своей области и разваливались в тот момент, когда реальность выходила за её пределы. Эта хрупкость, не глупость, а неспособность обобщать, и есть определяющий недостаток всей эпохи экспертных систем.

Появление машинного обучения

Артур Самуэль начал строить самосовершенствующуюся программу для игры в шашки в IBM в 1952 году, а к 1959 году опубликовал статью, в которой ввёл термин machine learning. Отличие от символьного ИИ было принципиальным: вместо ручного кодирования правил программа Самуэля улучшалась, играя сама с собой и обучаясь на результатах. Это была тихая, не привлекающая внимания идея в то время. Это та самая идея, которая в итоге поглотила всю область.

Вторая зима ИИ

К середине 1980-х экспертные системы стали настоящей индустрией, со специализированным оборудованием Lisp-машин, построенным для их работы. Затем рынок рухнул. Универсальные рабочие станции стали достаточно дешёвыми и мощными для тех же задач, а сами экспертные системы оказались дорогими в обслуживании: каждое правило требовало человека для обновления при изменении мира. Финансирующие организации, уже один раз обжёгшиеся, резко сократили вложения. Эта вторая зима продлилась до начала 1990-х и дважды преподала области один и тот же урок: ручное кодирование знаний не масштабируется.

Революция данных и возрождение нейронных сетей (1990-е-2000-е)

Интернет и большие данные

То, что наконец сломало эту закономерность, было не новым алгоритмом. Это был интернет, который производил больше необработанных данных, чем любая система правил, построенная вручную, могла бы когда-либо надеяться закодировать, и дал подходам на основе данных материал для реального обучения.

IBM Deep Blue (1997)

Победа Deep Blue над чемпионом мира по шахматам Гарри Каспаровым в 1997 году часто ошибочно воспринимается как триумф «мышления». Это не так. Deep Blue сочетал полный перебор с вручную настроенными эвристиками оценки, проверяя миллионы позиций за ход. Ближе к промышленным вычислениям, чем к озарению. Это доказало, что машины могут побеждать людей в структурированных, ограниченных правилами областях. Это более узкое утверждение, чем кажется, но оно было реальным.

Возрождение нейронных сетей

Сети из простых элементов появились более чем за десятилетие до возникновения самой области. В 1943 году Уоррен Маккалок и Уолтер Питтс опубликовали статью, описывающую нейроны как логические переключатели: включён или выключен, срабатывает или нет. Соберите их в достаточном количестве, и получившаяся сеть теоретически сможет вычислить всё, что может выразить формальная логика. Никто такую сеть не построил. Это было математическое доказательство, а не машина.

Фрэнк Розенблатт изменил это в 1958 году, создав перцептрон, физическое устройство, которое обучалось классифицировать образы, корректируя собственные веса соединений. Пресса писала об этом много и в основном неправильно. В 1969 году Марвин Минский и Сеймур Пейперт опубликовали Perceptrons, доказав, что эта архитектура не способна решать некоторые базовые задачи. Они были правы в математике, и исследования нейронных сетей затихли почти на два десятилетия.

Популяризация обратного распространения ошибки в 1986 году Румельхартом, Хинтоном и Уильямсом показала, как обучать сети с несколькими слоями, решив ключевое ограничение, выявленное Минским и Пейпертом. Но оборудование, способное реализовать этот метод на практике, появилось лишь два десятилетия спустя. Идея была готова задолго до инфраструктуры.

Современная эра: глубокое обучение и специализация (2010-е - настоящее время)

Прорывы 2010-х

Три фактора сошлись в 2010-х: значительно больше данных, GPU, сделавшие крупномасштабное обучение осуществимым, и принципиально новая архитектура. Первые два были ресурсными проблемами, которые решились сами собой. Третий фактор, трансформер, был настоящей идеей.

Ключевые вехи

• AlexNet (2012) радикально превзошёл предшествующие подходы к распознаванию изображений и фактически положил начало эре глубокого обучения.
• AlphaGo (2016) от DeepMind победил чемпиона мира в го, игре со слишком большим количеством возможных позиций для полного перебора, как это делал Deep Blue в шахматах. AlphaGo обучался через глубокое обучение с подкреплением.
• Трансформер (2017), представленный в статье Google «Attention Is All You Need», заменил прежние методы обработки последовательностей механизмом, который взвешивает связи по всему входному сигналу одновременно. Это архитектура, лежащая в основе практически каждой большой языковой модели, используемой сегодня. Вероятно, это самая значимая идея во второй половине столетия ИИ.

Эра масштабирования (2018-2022)

За трансформером последовал не новый прорыв, а скорее грубое эмпирическое наблюдение: модели продолжали улучшаться по мере того, как исследователи подавали больше данных и наращивали число параметров, без видимого предела. В 2018 году BERT от Google показал, что одна модель, предварительно обученная на большом текстовом корпусе, может быть дообучена для десятков различных задач: от ответов на вопросы до классификации тональности. Это стало практическим доказательством того, что одна универсальная модель может заменить множество специализированных.

К 2020 году исследователи формализовали эту закономерность в законы масштабирования: производительность модели предсказуемо растёт с увеличением вычислительных мощностей, объёма данных и количества параметров. Это открытие превратило ИИ из исследовательской дисциплины в гонку капитальных вложений. Стоимость обучения выросла с тысяч долларов до сотен миллионов. Так появились базовые модели: системы, обученные один раз на широком массиве данных, а затем адаптируемые к конкретным задачам через промптинг, а не перестраиваемые с нуля каждый раз. Это стало реальным отходом от модели ИИ в стиле AlphaGo и AlexNet, где одна система хорошо делала одну узкую вещь.

Конверсационный поворот (2022 и далее)

Базовые модели существовали годами, прежде чем большинство людей их заметило. То, что изменилось в 2022 году, было по сути не технологией. Это было обучение с подкреплением на основе обратной связи от человека (RLHF), которое направило сырой вывод модели в сторону полезности и следования инструкциям, а не просто статистической правдоподобности, обёрнутое в интерфейс, в который мог набирать текст любой. Эта комбинация, а не исследовательский прорыв, перевела ИИ из темы для исследований в массовое явление.

Где мы сейчас

Сегодняшние системы от Anthropic, OpenAI, Google и других по-прежнему являются, механически, продолжением трансформера 2017 года: обучены предсказывать закономерности, уточнены через обратную связь от людей. Изменился масштаб, диапазон задач и растущая способность использовать инструменты и действовать в многоэтапных задачах, что иногда называют агентным ИИ. Складывается ли это в подлинную универсальность или просто в очень беглое сопоставление паттернов - это живой спор, и этот текст не будет делать вид, что решает его. Что выдерживает проверку, так это сквозная линия: каждый этап этой истории решал более узкую задачу, чем «интеллект» в широком смысле, используя любые математические и инженерные инструменты, доступные на тот момент. Это по-прежнему так.

Главная идея: ИИ как инструмент

ИИ автоматизирует задачи, которые раньше требовали человеческого восприятия, рассуждения или суждения. Он не является и никогда не являлся, ни на одном этапе этой истории, попыткой создать сознание. Это история прагматизма: решать любую задачу, стоящую перед областью, любым инструментом, который реально работал, будь то формальная логика, статистика или нейронная сеть.

Заключение

Ничего из этого не произошло внезапно. История ИИ - это долгий, упорный труд, дважды прерванный зимами, которые заставили область отказаться от подходов, не поддающихся масштабированию, и продвигаемый вперёд людьми, решавшими конкретные задачи, а не гнавшимися за великой идеей. Logic Theorist, AlphaGo и сегодняшние системы на основе трансформеров - это свидетельства человеческой изобретательности, а не какой-либо воли или осознанности со стороны машины. Стоит помнить, особенно сейчас, что реальные корни этой области - это разум, данные и практическое применение идей, а не мифология, выросшая вокруг неё с тех пор.

Для углублённого изучения

Это обзорная история, и ради краткости многое пропущено. Несколько оригинальных статей, на которых она основана, стоит прочитать напрямую, если что-то из этого вас зацепило.

Две статьи Тьюринга - это очевидная отправная точка: On Computable Numbers (1936) для теоретического фундамента и Computing Machinery and Intelligence (1950) для самого теста Тьюринга, до сих пор более тонкая работа, чем её поп-версия. Предложение Дартмутского семинара 1956 года короткое и достойно беглого прочтения хотя бы ради того, чтобы увидеть, насколько уверены были основатели области в проблеме, которую они едва начали определять. Статья Артура Самуэля 1959 года о его программе для шашек является источником термина «машинное обучение» и хорошо напоминает о том, насколько непримечательной выглядела эта идея в то время. Статья Румельхарта, Хинтона и Уильямса 1986 года об обратном распространении ошибки сделала современные нейронные сети обучаемыми, за десятилетия до того, как оборудование догнало идею. А Attention Is All You Need (2017), статья, представившая архитектуру трансформера, является самым важным текстом для чтения, если вы хотите понять, почему сегодняшний ИИ выглядит так, как выглядит.

Ни одна из этих работ не требует технической подготовки, чтобы извлечь из неё пользу, хотя пара из них становится плотной в середине.