Что, если созданный людьми искусственный интеллект когда-нибудь получит способность к субъективным переживаниям и будет массово подвергаться страданиям? Этот риск «взрыва отрицательной феноменологии» и возможные стратегии его уменьшения рассматриваются в работе философа Томаса Метцингера, введение к которой мы приводим ниже.

Сегодня сознательные машины будущего не представлены в политическом процессе ни в одной стране. Их потенциальные интересы и предпочтения не представлены систематическим образом ни каким-либо комитетом по этике, ни какой-либо юридической процедурой, ни какой-либо политической партией на планете. В то же время, выглядит эмпирически правдоподобным, что как только машинное сознание эволюционирует, какие-то из этих систем будут иметь свои предпочтения, что они будут самостоятельно создавать иерархию целей, и что эта иерархия целей станет частью их феноменальной Я-модели (т.е., их сознательной самопрезентацией; см. Metzinger [2003a], Metzinger [2008]). Некоторые из них будут способны сознательно страдать. Если их предпочтения нарушены, если их цели не могут быть достигнуты, и если их сознательная Я-модель находится под угрозой распада, они могут подвергнуться отрицательным феноменальным состояниям, состояниям сознательного опыта, которых они хотят избежать, но не могут избежать, и которые они вынуждены переживать как состояния самих себя. Конечно, они также могут страдать способами, которые мы не можем понять или вообразить, и мы, возможно, даже не сможем обнаружить этот самый факт. Но каждое существо, способное страдать, должно быть объектом морального рассмотрения¹.

Мы несем этическую ответственность за последствия наших действий. Наши сегодняшние действия будут влиять на феноменологию постбиотических систем в будущем. Предположительно, их может быть много. До сих пор на этой планете жило более 108 миллиардов человек, причем примерно 7% из них живут в наше время [Population Reference Bureau, 2020]. Бремя ответственности может быть чрезвычайно высоким, потому что, как и в случае с растущим климатическим кризисом, сравнительно небольшое число сентиентных существ будет нести этическую ответственность за качество жизни гораздо большего числа сентиентных существ будущего — сознательных систем, которые еще только должны появиться. Число самосознающих машин, которые будут развиваться и существовать на Земле, на данном этапе эпистемически неопределенно: оно все еще может равняться нулю на много веков вперед, но в какой-то момент времени оно может также превысить суммарное число людей. Особенно если учитывать возможность каскадных самосознающих виртуальных агентов [Gualeni, 2020; Holland, 2020 Sec. 6; Metzinger, 2018c, Example 7]. Сейчас мы имеем дело с «риском внезапной синергии», соединяющей различные научные дисциплины и приводящей к неожиданному технологическому слиянию². Если теоретические интуиции растущего числа экспертов в этой области не совсем лишены оснований, и синтетическая феноменология³ действительно появится в какой-то момент, то число людей, которые будут иметь существенное каузальное влияние на появление сознательных машин на этой планете и виды феноменальных состояний, которые они должны будут претерпеть, чрезвычайно мало. В лучшем случае, это будет лишь несколько миллионов человек, которые несут этическую ответственность в сильном и прямом смысле — такие как политики и правовые регуляторы, исследователи ИИ, математики и нейробиологи, а также философы и исследователи в растущей междисциплинарной области науки о сознании. Многие из них уже живут в наше время. Эта исторически уникальная ситуация создает особенно высокое бремя этической ответственности для тех, кто видит общую проблему, которую я здесь раскрываю.

Существует риск, который рациональным и научно обоснованным образом должен быть сведен к минимуму. Я назову его риском «взрыва отрицательной феноменологии» (или просто «взрыва страданий») в искусственном интеллекте и других постбиотических системах. Здесь я определяю «отрицательную феноменологию» как любой вид сознательного опыта, которого сознательная система избегала бы или, скорее, предпочла бы не испытывать, если бы у нее был выбор. Я также предполагаю приоритетность уменьшения страданий — в этом мире более важно предотвращать и минимизировать страдания, чем увеличивать счастье (для введения в тему см. Vinding [2020, Part I]).

Обратите внимание, что в той части физической вселенной, которая нам известна в настоящее время, один взрыв отрицательной феноменологии уже произошел — через процесс биологической эволюции на этой планете. Благодаря эволюции сложных нервных систем такие свойства, как сентиентность, самосознание и отрицательная феноменология, уже были проявлены в чрезвычайно огромном числе биологических индивидов задолго до того, как в дело вступил Гомо Сапиенс и начал в итоге строить интеллектуальные машины [Horta, 2010; Iglesias, 2018]. У людей преобладание негативного аффекта чрезмерно [Gilbert, 2016], а когнитивные искажения и механизмы самообмана делают нас в значительной степени неспособными ясно видеть этот феноменологический факт [Trivers, 2011; von Hippel and Trivers, 2011]. На научном уровне давно стало ясно, что естественный отбор никогда не формировал наше настроение и системы эмоциональной регуляции в наших собственных интересах, и что «мотивы, которыми мы руководствуемся, часто приносят пользу нашим генам в ущерб качеству жизни» [Nesse, 2004, p. 1344]. Для прикладной этики ИИ риск, который должен быть сведен к минимуму — это риск второго взрыва отрицательной феноменологии, происходящего уже на уровне постбиологической эволюции. Иными словами, принимая во внимание возможность того, что он может оказаться еще хуже с точки зрения масштаба и интенсивности, мы не хотим, чтобы феноменология страдания перетекла из биологии в ИИ, — или, если хотите, из «Эволюции уровня 1» в «Эволюцию уровня 2» интеллектуальных систем.

* * *

Читать полностью: Искусственное страдание: аргумент в пользу глобального моратория на синтетическую феноменологию

Оригинал: Artificial Suffering: An Argument for a Global Moratorium on Synthetic Phenomenology (2021), CC BY 4.0. Перевод: Евгений Вдовин для SciBooks. Редактура: К. Кирдан для проекта Reducing Suffering. Иллюстрация: Pixabay.

P. S. Томас Метцингер также рассматривал эту проблему в Главе 7 «Искусственные эго-машины» своей книги «Наука о мозге и миф о своем Я. Тоннель эго».