Лидеры разработки искусственного интеллекта сравнивают ИИ с пандемией и ядерной войной. Они искренне ошибаются или им это выгодно?
30 мая Центр безопасности искусственного интеллекта (Center for AI safety) опубликовал открытое письмо. Оно состоит из одного предложения. Вот русский перевод его полного текста: «Снижение риска исчезновения человечества из-за искусственного интеллекта должно стать глобальным приоритетом наряду с другими рисками, такими как пандемии и ядерная война». Письмо уже подписали почти все лидеры ИИ. (За некоторыми важными исключениями, например, его не подписал один из отцов современного ИИ Ян Лекун). Неужели все так опасно и ИИ действительно можно сравнить с такими угрозами как пандемия и ядерная война?
Дивный новый мир
Началось все 14 марта, когда компания OpenAI выпустила приложение ChatGPT 4. Как видно по номеру версии уже были и 2, и 3, и 3.5 (это версия вышла в ноябре 2022 года). Но как-то не было ни такой паники, ни такого хайпа. А теперь, не успел народ еще как следует поюзать ChatGPT 4 (неделя всего прошла), как 22 марта Илон Маск сотоварищи на сайте Института будущего жизни запустил открытое письмо, где солидные люди призвали остановить разработки Больших Языковых Моделей (LLM), вот таких, как GPT-4.
Дальше все пошло по нарастающей. 11 мая Евросоюз принял AI Act, прототип закона, регулирующего и ограничивающего использование ИИ. На саммите G7 тоже обсуждали ИИ. Лидеры ИИ стали популярны, как рок-звезды. Сэма Альтмана (CEO OpenAI) стали узнавать в лицо. Его (и других разработчиков ИИ и представителей крупнейших IT-компаний) позвали в Белый дом на встречу с вице-президентом. Потом Альтман выступал в Сенате, сказал, что он отправляется в турне по городам и странам, чтобы объяснять, что такое ИИ и чем он опасен.
Весь последний месяц Альтман непрерывно дает интервью и всюду говорит, что ИИ надо регулировать, лучше на международном уровне, что нужно учредить что-то вроде МАГАТЭ только не про ядерную энергию, а про ИИ. (Письмо, с которого я начал, Альтман подписал среди первых.) 22 мая Альтман и еще два ведущих сотрудника и сооснователя OpenAI опубликовали на сайте компании колонку, где они пишут, что через 10 лет ИИ превзойдет человека в большинстве областей знания. Это будет уже не просто ИИ и даже не AGI (так обычно называют ИИ, сравнимый по возможностям с человеческим разумом), а прямо superintelligence — сверхразум.
6 июня Сэм Альтман доехал до Абу-Даби, где принял участие в очередной конференции, посвященной контролю ИИ. Конференцию открыл Эндрю Джексон. Он связан с компанией Group 42 — дочкой компании DarkMatter. DarkMatter в полном соответствии с названием компания довольно «темная» и по целям, и по методам. Фактически все ее заказы поступают от не самого демократического правительства ОАЭ. За работой DarkMatter крайне заинтересованно следит ЦРУ. DarkMatter подозревают в электронной слежке и взломах. Компания нанимает на работу за хорошие деньги бывших сотрудников ЦРУ и АНБ (Агентство национальной безопасности США) и даже, что уж совсем неожиданно для арабской страны, израильских специалистов. AP приводит слова Эндрю Джексона: «Мы — политическая сила, и мы будет играть центральную роль в регулировании ИИ». «Мы» это кто? DarkMatter? Правительство ОАЭ? Ну, а почему нет? Если создается международный контролирующий орган, что-то вроде МАГАТЭ, значит надо сотрудничать и делиться информацией в том числе и с DarkMatter. Такие дела. Вот только кажется, что Альтман искал других союзников.
Возникает несколько вопросов.
Откуда у разработчиков ИИ такое желание упасть в объятия государства?
Чем дольше продержится хайп, тем лучше для разработчиков ИИ. У компаний и технологий на вершине хайпа никто (но главное акционеры) не спрашивает, чем они занимаются, и когда будет отдача. А на сегодня отдача неочевидна. Стоимость запроса ChatGPT по разным оценкам стоит что-то около 30-40 центов. Это в 500-1000 раз больше, чем у стандартного запроса Google. Это стоит папаше Дорсету, то бишь компании Microsoft (главный инвестор OpenAI), что-то около миллиона в день. Чем больше запросов, тем больше прямые убытки. Чем больше запросов, тем выше должна быть мощность дата-центров, а это очень дорогие чипы NVIDIA. Но Microsoft не была бы собой, если бы не считала деньги. Есть разные варианты, как монетизировать хайп от разработки собственных чипов до активного заработка на облачных сервисах.
Сэм Альтман говорит, что OpenAI — самый «инвестоемкий» стартап в истории. Ему нужно на первое время 100 миллиардов (вы не ослышались — миллиардов, а не миллионов). Где их взять? Государство — очень хороший донор. Пусть оно вложится по-крупному в ИИ, но не во всякое абы какое, а в «безопасное». Мы все очень любим безопасность и готовы ее оплачивать. Пока американское правительство заходит в отрасль со скромными 140 миллионами. Но это пока.
Сэм Альтман говорит: те компании, которые не будут использовать ИИ — проиграют. И компании боятся опоздать и начинают ИИ использовать, не очень даже понимая, что они делают и зачем им это надо. В результате растут цены на облачные услуги. Например, на услуги Microsoft Azure. Как только хайп спадет, упадут цены на облака. Запросы к ChatGPT станут рутиной, но они не станут в 1000 раз дешевле. Услуги Azure подешевеют. Это кризис. Наверно, не такой крутой, как взрыв доткомов в 2000 году, но, как минимум, такой, как кризис Метавселенных. Мы еще помним, что это такое?
Метавселенные — это незаконнорожденное дитя пандемии. Локдауны сделали людей, не то что невыездными, а даже невыходными. А человеку нужен человек. И зума ему мало. Пандемия закончилась. Люди вышли из комнаты. Метавселенные закончились. По крайней мере пока.
Чтобы технология такого уровня, как описывают ИИ его создатели, выстрелила, а потом еще и не упала, она должна отвечать какой-то базовой потребности человека. Мобильники сделали людей ближе. Соцсети — еще ближе. В результате телефонизация Африки прошла буквально на ура в какие-то кратчайшие сроки. Электричество позволило передавать энергию туда, где она нужна. Джеймс Клерк Максвелл расплатился за всю фундаментальную науку на тысячу лет вперед. Он изменил нашу жизнь.
Какой базовой потребности человека отвечает искусственный интеллект? Разработчики отвечают: ИИ изменит все. Он отменит бедность, решит проблемы с климатом, с энергией, со здравоохранением и будет всем счастье (например, в этом интервью все это расписано очень живо). Это, мягко говоря, немного неконкретно. Как-то это сильно напоминает то ли философский камень, то ли эликсир бессмертия. В это трудно поверить по простейшей причине: человечество за всю свою историю ни с чем таким не сталкивалось. В общем, пока плюшки выглядят не очень убедительно.
Одну базовую потребность человека, которую уже помогает решать ИИ, я знаю, но вряд ли она так уж сильно интересует народные массы: это потребность познания. ИИ и, в первую очередь, многослойные нейросети дали другой способ обработки данных, гораздо более близкий к мышлению человека, чем традиционное программирование. Но это не потребность общения или необходимость тепла. Человек сначала должен жить, а потом у некоторых может возникнуть желание подумать. На досуге. Аристотель вообще говорит, что наука — дитя досуга. И это справедливо. Наука требует свободы сознания.
Если непонятно, что ИИ даст, тогда давайте будем всем рассказывать, что он отнимет (конечно, если его неправильно использовать и не дать 100 миллиардов денег OpenAI, который точно знает, как правильно). Тогда все просто: если с ИИ не договоритесь, будет пандемия напополам с ядерной войной. И вот тут-то, конечно, надо звать регуляторов. Не только потому, что они дадут деньги, но и потому, что разделят ответственность, если что-то пойдет не так. А разработчики будут охать и ахать: ну как же не уследили, но мы же предупреждали. Все-таки руки у них немного дрожат. По-настоящему.
Какие опасности ИИ видны прямо сегодня?
Миллионы безработных? Единственное на сегодня массовое приложение ИИ — это ChatGPT. Единственная отрасль, где ChatGPT используется всерьез — это программирование. Программисты начали работать еще с ChatGPT 3. Это 2022 год. По нынешним меркам — это давно. (Я имею в виду не тех, кто делает инструмент, они-то работают над ИИ лет 70 уже, а тех, кто им пользуется). Что-то я не слышал о массовых сокращениях в IT. Наоборот, вакансий — море. Самый скромный новичок с базовыми знаниями Python: его с руками оторвут. Так что здесь пока никаких сокращений не предвидится. Хотя автоматизация рабочих мест, о которой пишут эксперты Goldman Sachs, очевидна, и эффективность работы программиста растет на глазах. Но вот реакция биоинформатика Ксиджина Ге, который внимательно разбирался с возможностями ChatGPT именно в написании кода. Ге говорит довольно отрезвляющие слова: относиться к этому ИИ надо как к стажеру — трудолюбивому, желающему всем угодить, но неопытному и часто делающему ошибки.
Что ИИ дал программированию? Надежду. Надежду, что сбудется мечта, которой уже 70 лет. Алгоритмы на основе глубокого обучения могут работать хорошо, а могут — плохо. Но и плохо они все равно будут работать. А классическая программа либо работает, либо — нет. Она слишком хрупкая. На такой технологии мы построили современную цивилизацию. Как говорил Джеральд Вейнберг, если бы строители строили дома так, как программисты пишут программы, первый залетевший дятел разрушил бы цивилизацию. Вейнберг только не уточнил, что программисты не виноваты. Они сделали все, что могли. Просто этого мало. Нужно что-то более надежное. Вот ИИ как раз это обещает. Почему в результате должно исчезнуть человечество?
Дипфейки? Это по-настоящему серьезно. Даже не потому что все потонет в фейках, как говорит один из отцов-основателей современного ИИ Джеффри Хинтон, а потому что уже сегодня мы все дружно этого боимся. Вот страх — очень плохой помощник.
Вот скажите, положа руку на сердце, вы правда верите всему, что пишут на забо… то бишь в интернете? Нет, ведь. Ни тому, что написано, ни тому, что нарисовано, ни тому, что снято на видео. Мы верим не тому, что слышим, а тому, кто говорит. Например, соседу дяде Коле (или своей френд-ленте). Как говорила миссис Хадсон: «Так пишет Times». Или Reuters, или AFP, или Nature, или Science, или… Они что, не ошибаются? Еще как ошибаются. Они никогда не врут? Бывает и такое. Но цена ошибки высокая. Если все эти бренды рискуют репутацией, то дядя Коля рискует получить по скуле: тоже, в целом, чувствительная цена за фейк. То есть, это будет информация, которую крепко потрясли и покачали. Ее можно рассматривать всерьез. А если это написал некто в ФБ с пустым профилем — да пусть он хоть абсолютную истину глаголет, мы ему не поверим и проверять его информацию не будем, потому что жизнь коротка и опровергать каждого болтуна сил нет.
Вот недавно некто опубликовал в Twitters «фотографию взрыва Пентагона». Картинка, судя по всему, как раз сделана ИИ. Сто тысяч дураков ее перепостили, хотя одного беглого взгляда на это «фото» достаточно, чтобы понять, что это фейк, да еще и грубый какой-то. Но сто тысяч дураков — это ведь сила. Выступил представитель Пентагона, сказал, что ничего такого не было, выступил пожарный инспектор Арлингтона, сказал, что ничего такого не было. Все как-то успокоились и забыли. Но самое интересное: биржевой индекс чуть просел на фоне этого шума. Не сильно — на 0.29%, но просел. Ненадолго. Потом восстановился. Что случилось? Машины трейдеров следят в том числе за новостями. Они поймали этот шум. Если бы они приняли новость всерьез, индексы просели бы ого-го как. Но машины быстро во всем разобрались и индекс вернули на место. Они оказались к такому грубому фейку готовы.
Прежде чем мы встанем на зыбкую почву предположений «а что будет, если…», куда нас втаскивают буквально за волосы серьезные люди — разработчики ИИ, два слова о реальности. А она такая: одна бомба, упавшая на мирный город, одна пуля, остановившая живое сердце, нанесли вреда несравнимо больше, чем весь ИИ, который сегодня есть.
И я бы сравнениями ИИ с ядерной войной и пандемией не бросался. Когда на конференции в Абу-Даби выступил Эндрю Джексон, связанный с DarkMatter, стало как-то понятно, почему никакого аналога МАГАТЭ для контроля ИИ не получится. МАГАТЭ работает с крупными и тяжелыми (в самом прямом смысле) объектами: урановые рудники, заводы для получения оружейного плутония, реки для охлаждения атомных электростанций… Это все довольно легко увидеть прямо из космоса. А как увидеть систему ИИ? Особенно, на первом этапе, когда ей еще не нужна для активной работы большая мощность. И получается, что «темные» компании уже готовы принять участие в «контроле», а вот их самих-то как контролировать? У ЦРУ пока получается не слишком убедительно. От пандемии по оценке ВОЗ умерло не менее 20 миллионов человек. Не говоря уже о переболевших, о лонгковиде. Это столько боли и горя, что не до ИИ вообще-то. А то, что говорят сами разработчики о ИИ, это прогнозы, то ли более, то ли менее вероятные.
Так что будет, если «взрыв Пентагона» будет не грубым фейком, а тонко и глубоко проработанной системой дезинформации, рассчитанной на то, что трейдерские машины его не распознают, и индексы всерьез упадут. А такой фейк будет очень дорого стоить. Его не сделаешь за пять минут. Он должен будет как минимум обмануть Reuters и AFP. Именно «и». Информация должна идти сразу из нескольких независимых источников, у которых свои источники (будем считать, что они друг у друга новости не переписывают или, по крайней мере, не должны). Вот их и надо будет убедить. А они вообще-то и по старинке умеют: снять трубку и позвонить в пожарный участок города Арлингтона, и при этом (для надежности) по аналоговому каналу. (Как ни странно, проводные аналоговые телефоны до сих пор существуют, и к аналоговым системам шифрования серьезные люди относятся серьезно. Вот, например, квантовая криптография — аналоговая).
Если информация легко достается (лепится с лету на коленке), то она и стоит дешево, и тиражировать ее легко. Но она неубедительна, сколько бы наивных пользователей ее не репостили. Если ИИ все зальет такими дешевыми дипфейками, они просто перестанут восприниматься как значимая информация, а будут выглядеть как банальный почтовый спам. Он вам сильно мешает сегодня? Мне нет. А ведь двадцать лет назад это была серьезная проблема. Чтобы хоть кого-то хоть в чем-то убедить, в эти дипфейки придется серьезно вложиться и без гарантии, что они сработают. А дальше все будет как всегда: высокий риск потери инвестиций. Кто-то будет рисковать. Но цена будет только расти. Как и сегодня. Как и всегда.
Но проблема дипфейков, конечно, очень сложная. У нее куча тонких моментов. Уже сегодня видно, что как в случаях со спамом или компьютерными вирусами будут развиваться и меч (ИИ-генератор фейков), и щит (ИИ-детектор). И именно эта проблема сегодня главная. Здесь риск вполне конкретный. Здесь есть конкретные решения, но это отдельный разговор.
Почему народные массы так вяло реагируют на этот ужас-ужас-ужас?
А почему, собственно, безмолвствует народ? Что-то не видно никаких демонстраций против ИИ. Ну разве что голливудские сценаристы выступили: они трепетно относятся к своей интеллектуальной собственности и боятся, что у них ИИ отнимет кусок хлеба (они это называют проблемой «плагиата»). Может, и не напрасно боятся.
Почему люди громили вышки 5G, почему ролики про то, как Билл Гейтс всех чипирует, набирали миллионы просмотров? Да и вообще было ведь целое движение антиваксеров: не сто человек, и не тысяча, миллионы по всему миру. Где озабоченные граждане, выступающие против ИИ? Он ведь, если верить OpenAI, куда опаснее вакцин? Почему за контроль над ИИ сегодня выступают либо сами разработчики, либо правительственные чиновники и конгрессмены, или, вот, голливудские сценаристы?
Вот про чипирование и вакцины все было понятно. Не потому, что кто-то что-то понимал, как это работает и чем таким 5G отличается от 4G, а потому, что было реально страшно. Все это варево булькало на черном огне пандемии. Вирус — это невидимый убийца. Как с ним бороться? А так, вышку раздербанишь — и полегчает. Хоть что-то сделал полезное. А какая она: 5G или 4G — кто их считает?
А вот с ИИ все непонятно. Те, кто сегодня предостерегает о его опасности, не предложили ни одного убедительного сценария, как именно он уничтожит человечество. Skynet, наверное, или «Легион»? Ничего, ребята, все будет ОК. Шварценеггер нас защитит.
Почему Шварценеггер — это достаточная защита от ИИ с точки зрения народных масс? Потому что все глобальные опасности, о которых говорят сегодня и разработчики, и чиновники, в конечном счете сводятся к мысленному эксперименту: а что будет если… То есть, к некоторого рода фантастике. Вроде серой слизи. Ее ведь тоже недавно боялись. Рассосалась как-то.
Почему именно сегодня возник этот разговор про опасность ИИ?
Так что же все-таки случилось? Почему именно сейчас и с такой силой? Почему еще пару месяцев назад никто ничего такого не говорил? На самом деле говорили. И часто говорили. Просто это бормотание себе под нос никто не слышал. Но 14 марта вышел ChatGPT 4. Прогресс между ChatGPT 3.5 и 4.0 настолько большой, что многие охнули. Этот скачок заметили примерно 100 миллионов пользователей. Возник гипотетический сценарий: а если он так будет прогрессировать дальше, то мы потеряем над ним контроль. А, когда спохватимся, будет уже поздно. Что поздно? Над чем «потеряем контроль»? Это не важно. Тогда появилось письмо Маска со товарищи. Потом другие письма, о которых я говорил. Потом подтянулись чиновники.
Джеффри Хинтон сказал в интервью NYT: «Есть вероятность, что происходящее в этих системах намного превосходит по сложности процессы в человеческом мозге. Посмотрите на то, что происходило пять лет назад, и на то, что происходит сейчас. Представьте, с какой скоростью изменения будут происходить в будущем. Это пугает».
Здесь названа и вторая причина страха, кроме скорости: то, что мы не понимаем, как это работает, это бы ладно, да вот есть шанс, что никогда не поймем, потому что более простая система (биологический мозг) просто не сможет разобраться в более сложной (например, в superintelligence).
Стали набирать силу новые и старые сценарии конца света при помощи ИИ. Насколько они правдоподобны? Может быть, это стоит обсудить. Пока мне ближе всего взгляд Билла Гейтса. Он написал просто: вот когда-то давным-давно появился графический интерфейс. И он полностью изменил взаимодействие компьютера и человека. Теперь появились Большие Языковые Модели: GPT, например. Они тоже изменят взаимодействие компьютера и человека. Это здорово и круто. Какие-такие концы света? Или, наоборот, философские камни? О чем вы?
Может быть, Гейтс чего-то не видит? Недооценивает глобальность перемен? Все он видит. Просто он принимал непосредственное участие в стольких компьютерных революциях, что видит не только вход в новую волну, но и выход. И я доверяю его огромному опыту. Потому что и сам никаких катастрофических сценариев, годных не только на то, чтобы подразнить публику, а всерьез, тоже не вижу.
Но мир непредсказуем. И мы в этом постоянно убеждаемся. Впрочем, GPT 4.5 обещано в сентябре, а GPT 5.0 — не позднее января. Многое прояснится.
Владимир Губайловский 10.06.2023