Глава компаний Tesla и SpaceX Илон Маск, один из основателей Apple Стив Возняк и больше тысячи экспертов подписали открытое письмо с призывом приостановить разработку «гигантского искусственного интеллекта». Текст письма опубликовал «Институт будущего жизни» (Future of Life Institute).
Авторы письма призвали разработчиков искусственного интеллекта немедленно приостановить минимум на полгода обучение систем более мощных, чем GPT-4 от компании OpenAI. Эксперты и руководители отрасли, подписавшие письмо, считают, что обучение нужно остановить, пока не появятся общие протоколы безопасности. По их мнению, если обучение не получится остановить быстро, то власти «должны вмешаться и ввести мораторий».
T-Invariant попросил прокомментировать открытое письмо сам ChatGPT-4 и экспертов-людей.
Елена Бунина, профессор департамента математики университета Бар-Илан
Я в принципе не верю в инициативы по заморозке или остановке любого прогресса. Такие решения приводят к тому, что только негативная, незаконопослушная часть этого направления будет подпольно развиваться. И ее точно нельзя будет применить на пользу человечеству, а во вред как раз применение будет. Удивительно другое: процесс развития искусственного интеллекта шел естественным путем. И сколько было предсказаний, что именно может произойти. И вот произошло! Столько было прогнозов, что искусственный интеллект будет экспоненциально развиваться. И это случилось. Скачок произошел, а люди все равно к нему не готовы. Поэтому, кажется, что правильная инициатива в отношении искусственного интеллекта — это стараться найти ему суперполезные применения и одновременно договариваться о той самой этике искусственного интеллекта, которую так долго обсуждает весь мир. Если сейчас приостановить обучение систем ИИ, то договариваться об этических принципах все тоже прекратят.
Антон Кузнецов, кандидат философских наук, доцент, Центр исследования сознания, Философский факультет МГУ им. М.В. Ломоносова, телеграм-канал
Ситуация с известным письмом содержит в себе и жанр комедии, и драмы, что вызвано его абсурдистским содержанием. Кажется, происходит нечто удивительное по своей форме, когда в алармистском запале «обеспокоенная общественность» падает ниц перед Левиафаном. Тут история совершает мало сказать виток, а кульбит. И в очередной раз убеждаешься, что люди у истории учатся тому, что ничему не учатся у истории. И главное, кто эти люди? Кто эти любители «старины» и «традиционных ценностей», кто возглавляет крестный ход технологических «казаков»? Маск и Возняк. Предлагается регулировать то, что регуляции не поддается, и, главное, регулировать такую «нежную» область самыми что ни на есть варварскими методами. Ясно как день, что исследования ни на полгода, ни на пять минут не прекратятся. И нет такой силы, что была бы способна это сделать здесь и сейчас. Поэтому даже если часть подписантов действительно всерьез верила в то, что подписывает, то я не допускаю мысли, что эта часть является большинством. Явным образом содержание письма не представляет интереса, я бы даже сказал, что оно безынтересно. В этой истории важен сам факт письма, а точнее — акт. Это действо должно убедить широкую аудиторию (и посредством этого инвесторов), что в области ИИ прямо сейчас происходит нечто революционное, нечто очень значимое, что пропускать ни в коем случае нельзя. Это должно убедить нас в том, что нет ничего более важного сейчас, чем область развития ИИ, что люди и компании, вовлеченные в эту область, управляют кораблем, увлекающим человечество в будущее. Данное письмо — это не поклонение Левиафану, за которое его можно было бы принять. Продолжая морскую тематику, это абордаж, захват власти и внимания. А также хорошая иллюстрация для словарной статьи «постправда».
Владимир Губайловский, автор книги «Искусственный интеллект и мозг человека»
Письмо начинается со ссылки на известный документ — Asilomar AI Principles (Асиломарские принципы ИИ — Асиломар-2017). Этот документ был разработан в феврале 2017 года «Институтом будущего жизни». Эта организация запустила и вот это последнее письмо. Асиломар-2017 — это, в целом, такое бла-бла-бла за все хорошее. Первый принцип Асиломара-2017: цель исследований ИИ должна состоять в создании полезного интеллекта. Причем полезного не кому-то конкретно, а всему человечеству. То, что на старте глобального проекта пользу оценить очень трудно (невозможно?), видно и по развитию ядерной индустрии, и по развитию интернета. Когда начинался атомный проект, мало кто думал о ядерной энергетике. Когда начинался интернет, все говорили о сетевой свободе, и никто не думал о цифровой тюрьме. Но Асиломар-2017 подписали все вообще. В частности, Илья Суцвекер, сооснователь OpenAI. Тогда про работу OpenAI мало кто знал, сегодня — это разработчик ChatGPT. Среди подписавших были и Стивен Хокинг, и Илон Маск.
И вот теперь Маск первый подписал новое письмо. Это уже не общие слова, как в Асиломар-2017, это конкретный призыв к приостановке работ по LLMs. LLMs — большие лингвистические модели. Это и ChatGPT, и куча других разработок, которые ведут и Google, и Baidu, и многие другие IT-гиганты. В 2017 разработка ИИ была очень перспективной, но все-таки маргинальной областью. Сегодня в LLMs уже вложены многие миллиарды. Все поменялось. Новое письмо Суцвекер, естественно, не подписал. Рубить себе голову дураков нет.
Зачем это новое письмо нужно Маску, более-менее можно понять. Он великий предприниматель, но IT — это не его сильная сторона. Это видно по истории приобретения Twitter. Резкий поворот в сторону LLMs меняет инвестиционный ландшафт. И Tesla, и SpaceX, и прочие инженерные решения уходят немного в сторону. Маску это обидно: вот ведь звал человечество на Марс, а людям все бы в бирюльки играть. Но да, человеку интересен человек и, в целом, больше ничего не интересно. LLMs сегодня — это отражение человека. Трудно отвести взгляд от этого кривого зеркала.
Подписавшие новое письмо озабочены будущим человечества. А человечеству действительно что-то угрожает? Билл Гейтс пишет о ChatGPT с восторгом. Он сравнивает его появление с появлением графического интерфейса в 1980-е. Вот графический интерфейс изменил отношения между человеком и компьютером, также и ChatGPT изменит. Ничего кроме пользы. Гейтс письмо не подписал, Microsoft — главный инвестор OpenAI. Никакого желания рубить себе голову нет и у Гейтса.
Конечно, отношения между компьютером и человеком изменятся. Они уже изменились. Пока, правда, это почувствовали в основном программисты: при создании кода ChatGPT уже работает и работает неплохо. В ближайшей перспективе польза очевидна, вред — неочевиден. В основном, это смутные предчувствия. Можно ли остановить разработку больших лингвистических моделей и других направлений ИИ? Нельзя. Сколько бы писем ни было написано, и кто бы их ни подписал. Будет много интересного. И вот тут я бы советовал приобрести не попкорн, а лопату. И начинать приводить в порядок свою маленькую грядку. ИИ учится у нас у всех. Пусть он учится чему-то хорошему.
Андрей Себрант, директор по маркетингу сервисов компании «Яндекс», профессор НИУ ВШЭ (Цитируем фрагмент авторского телеграм-канала с любезного разрешения автора. Ред. T-invariant)
Анализировать текст таких писем без анализа списка подписантов и фигуры инициатора — дело дохлое, оно как раз означает заглатывание наживки, которую нам бросили. Нельзя вестись на такую манипуляцию в наш век информационных войн:)
А с инициаторами и подписантами только еще начинают разбираться, и первые результаты как минимум забавны.
Институт Future of Life Institute, инициировавший письмо и организовавший сбор подписей, — специфическая организация Долины, с одним из главных доноров в лице Musk Foundation (!), а раньше — и с небезызвестным и сидящим ныне без интернета Сэмом Бэнкман-Фрайдом.
Деятельность этого института местами смахивает на выращивание культа.
Одновременно все тот же Маск везде выступает главным подписантом письма.
И тогда на сцену выползает давний конфликт Маска с OpenAI. В свое время он хотел больше там рулить, но ему не дали, и он прекратил финансирование нонпрофита. OpenAI в поисках денег обратился к Майкрософту, и вот тут-то начались первые движения в сторону коммерциализации и большие обиды Маска.
А Маск, который уже не раз заявлял, что его человекоподобный робот станет более крупным бизнесом, чем беспилотники, остался без контроля над ключевой для такого робота технологией: именно embodied LLMs являются основой софта такого робота.
Короче: за этой историей, похоже, в первую очередь стоят не интересы человечества, а интересы конкретного человека, мастера троллинга, хайпа и манипулирования вниманием читателей соцсеточек и вообще общественности:) А еще — куча бизнес-интересов тех бизнесов и стартапов, которые из-за ChatGPT оказались в зоне риска.
ChatGPT-4, большая лингвистическая модель, разработанная компанией OpenAI.
T-i: Что вы думаете об открытом письме «Приостановить гигантские эксперименты с искусственным интеллектом»?
ChatGPT-4: Упомянутое вами открытое письмо было написано группой исследователей и экспертов в области ИИ, которые обеспокоены потенциальными рисками разработки все более мощных систем ИИ. Они утверждают, что последние достижения в области ИИ, особенно в области больших языковых моделей, привели к появлению новых рисков и проблем, которые требуют немедленного ответа.
Авторы письма предлагают сделать шестимесячную паузу в разработке систем ИИ, более мощных, чем GPT-4 — гипотетических моделей, которые сегодня не существуют. Цель этой паузы — дать возможность исследователям и политикам подумать об этических, социальных и экологических последствиях разработки таких продвинутых систем ИИ.
В письме поднимаются важные вопросы об ответственности исследователей ИИ и необходимости отдавать приоритет безопасности и благополучию общества, а не технологическому прогрессу. Однако не все эксперты в сообществе ИИ согласны с этим предложением. Некоторые утверждают, что пауза в исследованиях ИИ может замедлить прогресс и помешать инновациям.
В целом, открытое письмо на тему «Приостановить гигантские эксперименты с ИИ» вызвало дискуссию в сообществе ИИ о потенциальных рисках и преимуществах разработки более мощных систем ИИ. Письмо подчеркивает необходимость ответственного подхода к разработке ИИ, учитывающего потенциальное влияние этих технологий на общество.
Оригинал вопроса и ответа ChatGPT переведены с английского с помощью автоматического переводчика DeepL. Ред. T-invariant.
Редакция T-invariant 4.04.2023