Системы искусственного интеллекта, такие как ChatGPT, могут делать множество впечатляющих вещей: они могут писать сносные эссе, они могут успешно сдать экзамен на адвоката, их даже использовали для научных исследований. Но спросите исследователя ИИ , как он это делает, и он пожмет плечами.
«Если мы откроем ChatGPT или подобную ей систему и заглянем внутрь, то увидим, что миллионы чисел переворачиваются несколько сотен раз в секунду», — говорит ученый по искусственному интеллекту Сэм Боуман . «И мы просто понятия не имеем, что все это значит».
Боуман — профессор Нью-Йоркского университета, где он руководит исследовательской лабораторией ИИ, и исследователь в Anthropic, исследовательской компании ИИ. Он потратил годы на создание таких систем, как ChatGPT, оценивая их возможности и изучая, как они работают.
Он объясняет, что ChatGPT работает на так называемой искусственной нейронной сети, которая представляет собой тип ИИ, смоделированный на основе человеческого мозга. Вместо набора явно закодированных правил, как в традиционной компьютерной программе, этот тип ИИ учится обнаруживать и прогнозировать закономерности с течением времени. Но Боумен говорит, что, поскольку подобные системы, по сути, обучаются сами, трудно точно объяснить, как они работают или что они будут делать. Что может привести к непредсказуемым и даже рискованным сценариям, поскольку эти программы становятся все более распространенными.
Ноам Хассенфельд
Как работают такие системы, как ChatGPT? Как инженеры обучают их?
Сэм Боуман
Таким образом, основной способ обучения таких систем, как ChatGPT, — это автозаполнение. Мы снабдим эти системы длинным текстом из Интернета. Мы просто попросим их прочитать статью в Википедии слово за словом. И после того, как он увидит каждое слово, мы попросим его угадать, какое слово будет следующим. Он делает это с вероятностью. Он говорит: «Это 20-процентная вероятность того, что это «то», 20-процентная вероятность того, что это «из».
Это занимает месяцы, миллионы долларов компьютерного времени, а затем вы получаете действительно модный инструмент автозаполнения. Но вы хотите усовершенствовать его, чтобы он больше походил на то, что вы на самом деле пытаетесь построить, действовал как своего рода полезный виртуальный помощник.
Есть несколько разных способов, которыми люди это делают, но основной из них — обучение с подкреплением. Основная идея, стоящая за этим, заключается в том, что у вас есть своего рода тестовые пользователи, которые общаются с системой и, по сути, голосуют за или против ответов. Примерно так же, как вы можете сказать модели: «Хорошо, сделайте это слово более вероятным, потому что это настоящее следующее слово», при обучении с подкреплением вы говорите: «Хорошо, сделайте весь этот ответ более вероятным, потому что он понравился пользователю». , и сделать весь этот ответ менее вероятным, потому что он не понравился пользователю».
Ноам Хассенфельд
Итак, давайте углубимся в некоторые неизвестные здесь. Вы написали статью о вещах, которых мы не знаем, когда речь идет о таких системах, как ChatGPT. Что самое важное для вас?
Сэм Боуман
Итак, есть два связанных больших относительно неизвестных. Во-первых, мы действительно не знаем, что они делают в каком-либо глубоком смысле. Если мы откроем ChatGPT или подобную ей систему и заглянем внутрь, то увидим, что миллионы чисел переворачиваются несколько сотен раз в секунду, и мы просто понятия не имеем, что это означает. За малейшими исключениями мы не можем заглянуть внутрь этих вещей и сказать: «О, вот какие понятия он использует, вот какие правила рассуждений он использует. Вот что он делает и чего не знает глубоко». Мы просто не понимаем, что здесь происходит. Мы построили его, мы его обучили, но мы не знаем, что он делает.
Ноам Хассенфельд
Очень большое неизвестное.
Сэм Боуман
Да. Другое большое неизвестное, связанное с этим, заключается в том, что мы не знаем, как управлять этими вещами или контролировать их каким-либо надежным способом. Мы можем как бы подтолкнуть их к тому, чтобы они делали больше того, что мы хотим, но единственный способ узнать, сработали ли наши подталкивания, — это просто выпустить эти системы в мир и посмотреть, что они делают. На самом деле мы просто управляем этими вещами почти полностью методом проб и ошибок.
Ноам Хассенфельд
Можете ли вы объяснить, что вы подразумеваете под «мы не знаем, что он делает»? Знаем ли мы, что делают нормальные программы?
Сэм Боуман
Я думаю, что ключевое отличие заключается в том, что с обычными программами, с Microsoft Word, с Deep Blue [программа IBM для игры в шахматы] есть довольно простое объяснение того, что они делают. Мы можем сказать: «Хорошо, этот фрагмент кода внутри Deep Blue вычисляет семь [шахматных] ходов в будущее. Если бы мы сыграли эту последовательность ходов, как мы думаем, что бы сделал другой игрок?» Мы можем рассказать эти истории максимум в несколько предложений о том, что делает каждая маленькая часть вычислений.
С этими нейронными сетями [например, тип ИИ, который использует ChatGPT] нет краткого объяснения. Нет никакого объяснения с точки зрения таких вещей, как ходы шашек или стратегия, или то, что, как мы думаем, собирается делать другой игрок. Все, что мы можем на самом деле сказать, это то, что есть куча маленьких чисел, и иногда они растут, а иногда падают. И все они вместе, кажется, делают что-то связанное с языком. У нас нет понятий, отображающих эти нейроны, чтобы действительно сказать что-то интересное об их поведении.
Ноам Хассенфельд
Как возможно, что мы не знаем, как что-то работает и как этим управлять, если мы это построили?
Сэм Боуман
Я думаю, что важным моментом здесь является то, что мы действительно не создавали его в каком-либо глубоком смысле. Мы построили компьютеры, но затем мы просто дали самые смутные наброски проекта и как бы позволили этим системам развиваться сами по себе. Я думаю, аналогия здесь может заключаться в том, что мы пытаемся вырастить декоративный топиарий, декоративную живую изгородь, которую мы пытаемся сформировать. Мы сажаем семя, и мы знаем, какую форму мы хотим, и мы можем взять несколько ножниц и придать ему эту форму. Но это не значит, что мы что-то понимаем в биологии этого дерева. Мы просто начали процесс, отпустили его и попытались немного подтолкнуть в конце.
Ноам Хассенфельд
Это то, о чем вы говорили в своей статье, когда писали, что когда лаборатория начинает обучать новую систему, такую как ChatGPT, они в основном инвестируют в загадочную коробку?
Сэм Боуман
Да, так что если вы создадите маленькую версию одной из этих вещей, это будет просто изучение текстовой статистики. Это просто изучение того, что «the» может стоять перед существительным, а точка может стоять перед заглавной буквой. Затем, когда они становятся больше, они начинают учиться рифмовать, или учиться программировать, или учиться писать сносное школьное сочинение. И ничего из этого не было разработано — вы запускаете один и тот же код, чтобы получить все эти разные уровни поведения. Вы просто запускаете его дольше на большем количестве компьютеров с большим количеством данных.
По сути, когда лаборатория решает инвестировать десятки или сотни миллионов долларов в создание одной из этих нейронных сетей, они еще не знают, на что она способна. Они могут разумно предположить, что он сможет делать больше вещей, чем предыдущий. Но им просто нужно подождать и посмотреть. У нас есть некоторая способность предсказывать некоторые факты об этих моделях по мере их роста, но не эти действительно важные вопросы о том, что они могут делать.
Это просто очень странно. Это означает, что у этих компаний не может быть дорожных карт продукта. Они не могут сказать: «Хорошо, в следующем году мы сможем это сделать. А через год мы сможем это сделать».
И это также играет на некоторых опасениях по поводу этих систем. Что иногда навык, возникающий в одной из этих моделей, будет чем-то, что вам действительно не нужно. В документе, описывающем GPT-4, рассказывается о том, как, когда они впервые обучили его, он мог достойно провести непрофессионала через строительство лаборатории биологического оружия. И они определенно не хотели развертывать это как продукт. Они построили его случайно. А затем им пришлось потратить месяцы и месяцы на выяснение того, как это очистить, как подтолкнуть нейронную сеть, чтобы она на самом деле не делала этого, когда они развернули ее в реальном мире.
Ноам Хассенфельд
Итак, я слышал о поле интерпретируемости. Это наука о том, как понять, как работает ИИ. Как выглядит это исследование и дало ли оно что-нибудь?
Сэм Боуман
Интерпретируемость — это цель, позволяющая заглянуть внутрь наших систем и довольно четко и с достаточно высокой уверенностью сказать, что они делают и почему они это делают. Просто они так устроены, что могут четко объяснить, что происходит внутри системы. Я думаю, что это аналогично биологии для организмов или нейронауке для человеческого разума.
Но есть две разные вещи, которые люди могут иметь в виду, когда говорят об интерпретируемости.
Одна из них заключается в том, чтобы просто попытаться выяснить, как правильно смотреть на то, что происходит внутри чего-то вроде ChatGPT, выяснить, как смотреть на все эти числа и найти интересные способы отображения того, что они могут означать. чтобы в конце концов мы могли просто посмотреть на систему и что-то о ней сказать.
Другое направление исследований — это что-то вроде интерпретируемости по замыслу. Попытка построить систему, в которой по замыслу каждая часть системы означает что-то, что мы можем понять.
Но и то, и другое на практике оказалось чрезвычайно, чрезвычайно трудным. И я думаю, что мы не достигаем критически быстрого прогресса ни по одному из них, к сожалению.
Ноам Хассенфельд
Что делает интерпретацию такой сложной?
Сэм Боуман
Интерпретируемость сложна по той же причине, что и когнитивная наука. Если мы задаем вопросы о человеческом мозге, у нас очень часто нет хороших ответов. Мы не можем смотреть на то, как человек думает, и объяснять его рассуждения, глядя на возбуждение нейронов.
И, возможно, это еще хуже для этих нейронных сетей, потому что у нас нет даже той частички интуиции, которую мы получили от людей. Мы даже не знаем, что ищем.
Еще одна часть этого заключается в том, что цифры здесь становятся действительно большими. В этих нейронных сетях сотни миллиардов связей. Таким образом, даже если вы сможете найти способ, если вы будете смотреть на часть сети в течение нескольких часов, нам потребуется, чтобы каждый человек на Земле смотрел на эту сеть, чтобы действительно выполнить всю работу по ее объяснению.
Ноам Хассенфельд
И поскольку мы так многого не знаем об этих системах, я полагаю, что спектр положительных и отрицательных возможностей довольно широк.
Сэм Боуман
Да, я думаю, это правильно. Я думаю, что история здесь действительно о неизвестных. У нас есть что-то, что на самом деле осмысленно не регулируется, что более или менее полезно для огромного круга ценных задач, у нас есть все более явные доказательства того, что эта технология очень быстро совершенствуется в направлениях, которые кажутся нацеленными на некоторые цели. очень, очень важные вещи и потенциально дестабилизирующие многие важные институты.
Но мы не знаем, как быстро он движется. Мы не знаем, почему это работает, когда оно работает.
У нас пока нет хороших идей о том, как контролировать это технически или институционально. И если мы не знаем, что будут делать системы в следующем году, и если в следующем году мы понятия не имеем, что будут делать системы через год.
Мне кажется очень правдоподобным, что это будет определяющая история следующего десятилетия или около того. Как мы приходим к лучшему пониманию этого и как мы ориентируемся в этом.
Для того, чтобы быть в курсе новостей в сфере науки, подписывайтесь на наш Telegram-канал.
Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.
