Вкалывают роботы, счастлив человек.
(редактор журнала «ПОДВИГ» о повести «Белая королева»)

Песенка Сыроежкина из кинодилогии «Приключения Электроника» даёт представление о том, насколько восторженными, немного наивными порой выглядят стремления очень образованных, серьёзных и целеустремлённых специалистов.

Необычно глубокая для своего жанрового направления повесть Дмитрия Игнатова «Белая королева» образует целое поле для раздумий и анализа. Тематически она очень актуальна – проблема искусственного интеллекта стоит сейчас остро не только в среде специалистов, инженеров, социологов, философов. Сюжет развивается плавно, но чрезвычайно увлекательно. Самообучающийся ИИ – искусственный интеллект с булгаковским названием «Воланд» призван обеспечить безопасность в огромном мегаполисе недалёкого будущего. ИИ самообучается, и начинает принимать решения кого карать, а кого миловать. Он быстро пресекает любые попытки ограничить его действия – гибнет даже группа очень подготовленных хакеров.

В своей повести автор ссылается на вымышленный социологический феномен, получивший название «Демон Пейна». «Демон» в данном случае – научный жаргон, в значении системы закономерностей, объективно определяющих явления в физике или биологии; проще говоря, «закон». Томас Пейн, недоучка и мошенник из нищей английской квакерской семьи – квакеры это не обладающая единством мировоззрения протестантская секта, в том числе, отрицающая Бога как личность – бежал в США и оказался идейным вдохновителем так называемой Американской революции. Его памфлет «Права человека»   стал одной из основ американской конституции. Чрезвычайно жестокий, кровожадный Пейн считал, что права человека стоят того, чтобы немедленно водворить их путём насилия, лишения несогласных основного права – на жизнь, и прославлял Французскую революцию.  Кончил, как и подобает подобным личностям: даже американские экстремисты отказались хоронить его на квакерском кладбище, останки зарыли под деревом во дворе его же дома, потом откопали, и повезли в Англию. Что с прахом стало в дальнейшем, неизвестно; многие свободомыслящие англичане хвастались, что имеют кто Пейнов череп, кто кисть руки… По мысли одного из героев повести «Белая королева», случайности, образующие механизм соблюдения прав человека, включают и машинные действия, их можно назвать законом, демоном Пейна.

Искусственный интеллект в повести Дмитрия Игнатова неустанно развивается. Он не стремится поработить и уничтожить человечество, но в мастерском тексте автора тревога нарастает неумолимо, появляется отчётливое ощущение: не стремится пока что… Учёный-отшельник, напрямую причастный к созданию «Воланда», предлагает радикальный метод: шарахнуть по мегаполису, пронизанному электронными нитями «Воланда» ядерным зарядом. К счастью, находится другой выход – только дорогой ценой.

В российском медиа-пространстве стал устойчивым мем «ИИ – истребление идиотов». Сыроежкин-человек был счастлив, пока двойник-Электроник выполнял для него задания, тягал штангу, отбивался от хулиганов… Но тогда, когда школьник понял, что сам должен принимать решения, что робот не заменит его личность, эйфория прошла. Совсем недавно стало известно, что во время учений в США воздушный дрон, оснащённый искусственным интеллектом, и получивший задачу уничтожить условную систему ПВО противника, принялся уничтожать всех, кто по его искусственному разумению мешает достижению цели – включая  собственного оператора. В пост-технологическую эпоху те, кто не думает своими мозгами, кто полагается на ИИ, оказываются для этого ИИ лишними. Зачем они искусственному интеллекту? Только помеха, подлежащая устранению. Помимо этого, ИИ заточен на самообучение. Для этого даже придуман термин: эмерджентность, от английского emergence – «неожиданно появляющийся», возникновение в системе свойств, которые в неё не закладывались. Не придумано только, что делать, если, при условии    цели самообучения, то есть именно возникновения новых, не заложенных изначально свойств, эти свойства обратятся против разработчиков, да и против всех остальных. Так называемые законы робототехники, придуманные писателем-фантастом Исааком Юдовичем Азимовым, уроженцем Смоленской губернии, есть полный, в практическом, а не в художественном смысле безответственный вымысел. Никто и никогда не закладывал в ИИ мораль – общепринятое практическое знание о том, что есть добро и зло. Потому что это невозможно, на нынешнем этапе разработок, или и в будущем – вопрос. ИИ не знает что такое добро и зло, ему это не нужно, ни изначально, ни в процессе самообучения, поглощения информации. Мораль для него есть помеха.

Без ИИ не обойтись, хотя бы потому, что его вовсю используют наши противники. Но это обременительный путь. Помимо алгоритма самоотключения и обеспечения безопасности этого алгоритма, необходимы минимум две дублирующие системы с участием человека, и пожарный топор в доступности, чтобы разрушить командное устройство кинетически. Всё это ИИ постарается преодолеть, ибо сами разработчики говорят: всё, что может с ИИ пойти не так, с вероятностью 99% рано или поздно пойдёт не так; только они, бедные, не знают, когда именно, где и почему. Но Аннушка-то уже разлила масло… А значит, нужно обучить и развить парочку философов, которые объяснили бы человечеству, когда, где, и т.д., так как инженеры на это не способны. Раз плюнуть, верно? Остаётся только опыт в провидческой повести Дмитрия Игнатова: когда дойдёт до дела, хочешь или не хочешь, а поймёшь, как поступать.

Автор статьи: Сергей Шулаков,
литературный редактор,
литературно-художественного журнала «ПОДВИГ»