Элиезер Шломо Юдковский — один из активнейших рационалистов современной Америки, компьютерный исследователь и популяризатор идеи «дружелюбного искусственного интеллекта». Родился 11 сентября 1979 года. Сооснователь и исследователь в неправительственной исследовательской организации «Институт исследований машинного интеллекта», которая и издаёт его книги. Юдковский — автор философского романа «Гарри Поттер и методы рационализма», публиковавшегося частями в интернете в период с 2010 по 2015 год. В нём Гарри растёт в семье оксфордского учёного и перед путешествием в Хогвартс учится у него методам рационального мышления.

Большие идеи: Элиезер Юдковский предостерегает от счастливых спиралей смерти. Изображение № 1.

Большие идеи: Элиезер Юдковский предостерегает от счастливых спиралей смерти. Изображение № 2.

С кругом «спекулятивных реалистов», насколько известно, не имеет никакой связи. Его имя часто упоминается в связи с Робином Хансоном, на протяжении нескольких лет (с 2006-го по 2009-й) они были двумя основными авторами блога «Преодолевая предрассудок», который существовал на деньги Института будущего человечества в Оксфорде. Иногда имя Юдковского можно услышать в связи с Рэймондом Курцвейлом. Он философствующий представитель сообщества техно-гиков, недоступный и непонятный, таким образом, большей части гуманитарной публики, к которой принадлежат почти все читатели спекулятивных реалистов. Оно и не удивительно, ведь он часто обращается к логико-математическому языку, вероятностным и статистическим выводам, экспозированным при помощи формул и таблиц. Читатель-нематематик наблюдает это буйство формул как нечто пограничное и поначалу не понимает, что происходит. Но вскоре осознаёт, что все демонстрации посвящены одному — нахождению наиболее простого решения. Поэтому, если ты хоть немного романтик, читать Юдковского сложно. Или если ты хоть немножко экзистенциалист. Если с экзистенциалистской точки зрения в ситуации самое лучшее, что можно сделать, — не продолжать отдавать должное разным наполнителям абсолютно пустого, но посмотреть смерти в глаза, то какой тут Элиезер Юдковский? Если больше всего хочется, чтобы всё прекратилось, как могут быть восприняты методы продолжения? Лишь как то, что укачивает.

В кругу философов типа Юдковского гиперболизированно выражена одна не замеченная ими самими черта, делающая их похожими на героев Marvel: все они применяют компьютерный подход к описанию человеческой жизни и решению человеческих проблем. И поэтому иногда кажутся другим героям Marvel слишком умными и даже беззащитными, способными запутаться в каком-то очень простом деле. И они сами это понимают — что излишняя информированность всё губит. И тем не менее продолжают информироваться и информировать. И тебе время от времени кажется, что Юдковский и компания — не те, за кого себя выдают, и под видом обучения принятию самого простого решения просто забалтывают проблематику, стремясь бесконечно оттягивать решение. Сам Юдковский понимает, что увеличение знания может сделать хуже. Например, он ссылается на эксперимент, демонстрирующий, что хорошо политически подкованные студенты труднее воспринимают неожиданную информацию именно в силу того, что они хорошо подготовлены и слишком хорошо могут защищать свою позицию. Невольно вспоминается Гуссерль и его критика натурализма, запрещающая рассматривать сознание в качестве природной вещи, устроенной по природным законам, потому что сами природные вещи и природные законы существуют внутри сознания по его законам. Поэтому иногда от чтения Юдковского начинает укачивать. Потому что читающий не может решить сам для себя, действительно ли нужно демонстрируемое удвоение действия. Феноменолог, рассматривающий сознание как более совершенную, чем натуралистическое или машинное, инстанцию, мог бы сказать, что надо больше доверять спонтанному конституированию, позволить ему происходить самому, не помогать ему так много. При этом мы понимаем, что принятие верных решений — это самое главное. Такое впечатление, что Элиезер Юдковский не устаёт и всегда готов искать наиболее верное решение. Даже тогда, когда, по мнению других, самым лучшим решением будет не принимать никаких решений.

Материальные категории

Рационализм, который защищает Юдковский, — это своего рода нейроматериализм. Его основное вдохновение — мозг, его интересное устройство, то, как он принимает решения и анализирует информацию. Мышление в философии Юдковского двуслойно, точь-в-точь как в психоанализе, но это своего рода нейропсихоанализ, компьютерный его лик. Но, в отличие от Фрейда, у которого мир делится на сознательное и бессознательное, мир Юдковского делится на разные уровни сознательного процесса и поэтому больше похож на эволюционные модели Поланьи, Хайека и Поппера. На одном уровне идёт осознание, о котором я осведомлён, собственно, моё размышление о происходящем. Но на другом уровне моего же сознания, или мозга, продолжается анализ происходящего, о котором я «не знаю», но основываясь на результатах которого, не осознавая этого, принимаю решения. Собственно, анализ, проводимый Юдковским, в этом и состоит — во внимании, с одной стороны, к тем эффективным простым схемам, которые применяет мозг в различении, с другой — в поиске ошибок на уровне осознанного мышления, способного запутывать нас в оценке той информации, которая к нам поступает. Юдковский считает, что представление о произвольности языка, о том, что мы можем как угодно именовать что угодно, ложно. Это так, потому что, по его мнению, категории материальны. Так как язык связан с мозгом и слова являются сигналами, связанными с целым комплексом протекающих в организме реакций. То, что он называет материальными категориями, отлично от категорий Аристотеля. Категории второго находятся в мире логики, категории первого являются поддающимися наблюдению и существующими материально способами эффективного различения сложных объектов, осуществляемого мозгом. Реальная категория (материальная) работает, с точки зрения Юдковского, так: частью её является свойство человека обладать десятью пальцами, но при встрече с девятипальцевым человеком она тем не менее не перестаёт включать его в себя в качестве человека. В случае аристотелевской категории девятипальцевое существо было бы не человеком. Потому что человек с десятью пальцами «по определению». Или пример с тигром (Юдковский любит его приводить). Вы слышите, что кто-то кричит: «Тигр!» Вы не будете ждать, пока послышится треск сучьев и вы увидите выпрыгивающий из кустов крупный жёлто-полосатый объект. Вы не будете задаваться большим количеством вопросов и сопоставлять звучание слова, жёлтый цвет, полоски, величину, чтобы заключить, что перед вами опасный тигр, от которого нужно убегать. Вы просто сразу пуститесь наутёк, услышав само слово. Юдковский предлагает нам обратить внимание на то, что слово говорит нам больше полезного, чем нам кажется, и что мы, наш мозг, процессы принятия решений в нас, воспринимаем из него больше, чем нам кажется.

Материальные категории представляют собой то, что Юдковский называет экстернальным определением, то есть определением чего-то при помощи указания. Если вам нужно объяснить, что такое «красный», вы можете объяснять это при помощи других слов (интернальное определение), а можете указать пальцем на красный предмет. Такая категория может либо напрямую указывать на соответствующий ей объект, либо описывать такое указывание, и тогда она карта, разумеется, не совпадающая с территорией.

При этом мы можем совершать ошибки относительно того, что находится в нашей голове, но эти ошибки не изменят того, что действительно в ней происходит.

 

 

 

 

Особенности карт, которыми мы пользуемся, — понятий, в том, что они — очень компактные представления очень большого. 

 

  

 

 

Энтропия и короткие коды, или «Стул» короче «фурнитуры» 

Юдковский — представитель первого поколения, рассматривающего язык одновременно как лингвистическую и как биологическую (или нейробиологическую) способность. Именно из-за отсутствия такого подхода Ноам Хомский ещё совсем недавно говорил, что в смысле науки о языке мы сегодня в самом начале и не знаем почти ничего, находимся там, где находились биология и химия до появления биохимии. Поэтому и ожидания наши могут быть такими же огромными, как в эпоху после коперниканского поворота. Так вот, Юдковский рассматривает слова как соответствующие «материальным категориям», реальным «облакам возможностей», которые они маркируют. Каждое произносимое слово распознаёт явление и способы взаимодействия с ним, существующие в языке, но не записанные в словаре. Из такого утилитаристского подхода к языку Юдковский выводит одно замечательное свойство, которое предлагает использовать в качестве правила: чем чаще встречается явление, тем короче его имя. И наоборот, чем реже мы с ним сталкиваемся, тем более длинным именем оно обладает. Это проявление экстропии, считает он. Экстропия — это повышающаяся параллельно энтропии способность принимать эффективные решения. «Стул» короче «фурнитуры», потому что эта ипостась объекта используется чаще, на него чаще показывают и на него чаще садятся. «В общем, — пишет он в эссе «Энтропия и короткие коды» недавно, в 2015 году, вышедшей книги «Рациональность: От искусственного интеллекта до зомби», — чаще всего элементы базового уровня имеют короткие имена, и наоборот, короткие существительные, скорее всего, будут иметь отношение к категориям базового уровня. Короткие слова употребляются часто, частота употребления повышается с укорачиванием слова».

Соответственно, длина слова пропорциональна вероятности кодируемого при его помощи явления. Он называет это утверждение формализацией принципа бритвы Оккама, имя которой формализация «минимальной описательной длины» или «минимальной длины сообщения».

Компактность 

Особенности карт, которыми мы пользуемся, — понятий, в том, что они — очень компактные представления очень большого. Компактность связана с компрессией, делающей возможными ошибки, потому что в результате компрессии я могу начать воспринимать две точки в качестве одной. С одной стороны, это так, с другой — особенностями карты является, по мнению Юдковского, то, что я не воспринимаю карту и ту территорию, которую она картирует, в качестве двух разных реальностей. Особенность карт, особенно электронных и тех, что находятся в нашей голове, в том, что они легко пополняются. 

Место логики

Свидетельством ошибочности рассуждения, по мнению Юдковского, будет употребление рассуждающим оборота «по определению». Им пользуются, по его мнению, в случаях, когда «карта», которой является слово, неверна и неэффективна, слово теряет связь с территорией и устанавливает связь с другими словами. Внимание обращается на логическую консистентность высказывания. Тут, по мнению Юдковского, и кроется ловушка, связанная с логическим уровнем действительности: если что-то так по определению, значит, это так и в любом из возможных миров, потому что законы логики работают в любом из возможных миров, а это значит, что законы логики ничего не говорят нам о том, в каком именно из возможных миров мы находимся. Или так, в другом месте, «Литания против логики»: логика не меняется, куда бы ты ни шёл, значит, логика ничего не может сказать о том, где ты живёшь.

Возможные возможные и невозможные возможные миры 

Ловушка логики, захватывающая рассуждающего, в то время как он сам не понимает, что захвачен, в том, что, когда говорится «верно в любом из возможных миров», имеется в виду «в любом из возможных возможных миров», а не в «в любом из невозможных возможных миров». Эта верность в любом из возможных возможных миров, принятая за верность в любом из возможных (включая невозможные) миров, позволяет логике выглядеть материальной, каковой она не является.

 


 

 

 

Когда Великая Вещица настолько хороша, что побуждает тебя искать возможности почувствовать себя в связи с ней ещё лучше, когда ты используешь её для интерпретации всё новых явлений каждый день, резонанс позитивного аффекта становится похож на зал, полный мышеловок, наполненных шариками для пинг-понга

 

 

 

Счастливые спирали смерти 

Рационалист, с точки зрения Юдковского, — это тот, кто отдаёт должное реальности, слова которого представляют собой карты, пользуясь которыми можно её достичь. Например, в случае химического образования преподаватель в ответ на вопрос «Что такое Х?» может ответить: «Это элемент с такой-то массой и таким-то коэффициентом того-то», а может сказать, что если это реальное вещество смешать в другим, вот этим веществом, то произойдёт такая-то реакция и выделится такое-то количество этого элемента, обладающего такими-то и такими-то свойствами. И эти карты являются частью работы мозга, или материальных категорий, реальных процессов распознавания реальных величин. Иногда карты работают хуже и путают нас. Иногда, говорит Юдковский, идеи действительно очень хороши. И, если они объясняют реальность, позволяют нам корректно предсказывать будущее, почему бы и не испытывать радость от возможности их использовать. Ничего плохого в этом, по мнению Юдковского, нет. А если идея плохая, то и работать будет плохо, и мы поэтому не будем радоваться в связи с ней. И хорошо бы, если бы всё было так. Потому что, по мнению Юдковского, помимо идей хороших и плохих, рабочих и нерабочих идей, есть особый подвид, то, что он называет «счастливые спирали смерти» (happy death spirals), представляющие собой разрушительные идеи, убивающие под видом создания.

В тексте «Аффективные спирали смерти» (там же, «Рациональность…») читаем: «Когда Великая Вещица настолько хороша, что побуждает тебя искать возможности почувствовать себя в связи с ней ещё лучше, когда ты используешь её для интерпретации всё новых явлений каждый день, резонанс позитивного аффекта становится похож на зал, полный мышеловок, наполненных шариками для пинг-понга. Можете звать это „счастливый аттрактор“ или „сверхпозитивная отдача“, „восхитительная замкнутая петля“ или „смешная записка“. Лично я предпочитаю „аффективная спираль смерти“». «Спираль» — это мысль, которая хорошо ощущается. Текст — нейроматериалистический (в книге «Рациональность…»), и встреча с такой «спиралью» может оказаться более реальной, чем ты рассчитывал. Итак, как устроена счастливая спираль смерти: она появляется, когда вам кажется, что что-то «так прекрасно!». Гало-эффект, то есть сияние этого «так прекрасно!», позволяет тебе понять, что ты можешь сказать всё больше и больше положительных вещей об этом «так прекрасно!», которые, в свою очередь, позволяют тебе распознать его в качестве ещё более прекрасного. «И так вы кружитесь и кружитесь, приближаясь к бездне», — пишет Юдковский. Гало-эффект заставляет нас благодаря принятию позитивности изначального утверждения принять и позитивность всех будущих утверждений.

Юдковский считает, что одну спираль нельзя «сбить» другой, нельзя заменить один предрассудок другим. Такая попытка, с его точки зрения, равноценна проделыванию второй дырки в моторе, уже имеющем одну, для симметрии и с целью починки. «Такое поведение может привести, — пишет он в том же тексте, — к тому, что ваше решение ситуации закончится стрельбой в свою ногу». И тут он оказывается оппонентом Славоя Жижека, предлагающего в качестве эвристического, ленинского, по его мнению, средства именно «выстрел в коленку».

Как легко появляются спирали смерти? 

Появление любой идеи способно привести к появлению спирали. Можно попробовать провести эксперимент, рекомендуемый Юдковским: представьте, что вам известно, что Бельгия тайно контролирует работу банковской системы Соединённых Штатов Америки или что бельгийцы используют невидимый голубой газ для определения свободных парковочных мест. Только попробуйте таким образом взглянуть на реальность, и вы, скорее всего, сразу же получите какие-то подтверждения. Более того, обращает внимание Юдковский, количество данных, моментально подтверждающих теорию, ужасает, и именно оно ответственно, с его точки зрения, за большое количество ошибок, совершаемых людьми в личной жизни и в науке. 

Как противостоять счастливой спирали смерти 

Чтобы противостоять счастливой спирали смерти, Юдковский предлагает соблюдать простые правила: 1) постараться не бывать счастливым в связи с «неурегулированными требованиями», 2) не позволять себе превращать их в источник добавочного позитивного аффекта по поводу того, что вам уже понравилось.

Оба правила кристаллизированы в более общем «размер гало должен быть меньше критического», что значит, что резонанс должен скорее гаснуть, чем распространяться.

Гало, по мнению Юдковского, не может быть сведено к нулю. Однако оно может быть таким, что его концентрация не будет приводить к образованию счастливой спирали смерти. Или правило формулируется так: «Стой всегда близко к рациональному, чтобы твоё счастье бесконтрольно не спиралилось».

Гало-эффект излучает не что-нибудь, но «великая вещица». Единственным, по мнению Юдковского, на самом деле опасным случаем счастливой спирали является тот, при котором любая критика позитивных заявлений о «великой вещице» воспринимается как плохая или социально неприемлемая.

Он предлагает также пользоваться советом, сформулированным Стюартом Армстронгом, связанным с верой в то, что «три великих идеи» в меньшей степени способны свести с ума, чем «одна великая идея»: разделите «великую вещицу» на несколько более мелких идей и интерпретируйте их в качестве независимых друг от друга. Надо постараться, таким образом, чтобы гало, образуемое одними частями, не попадало на другие части. Если получается, значит, мы в безопасности и спираль нам не грозит, что хорошо, потому что спирали заводятся именно в теориях, считает Юдковский, в силу их узости, которая позволяет образоваться спирали.

Он сравнивает сведение гало к минимуму с удержанием от слияния минимально допустимых масс плутония.

Большие идеи: Элиезер Юдковский предостерегает от счастливых спиралей смерти. Изображение № 3.

 

 

 

 

В игре участвуют два игрока. Первый должен так поделить находящееся на кону, чтобы второй принял такое деление в качестве справедливого. Тогда и первый, и второй получают означенные доли. 

 

 

  

 

Эпистемологическая испорченность 

Менее страшной, чем счастливая спираль смерти, является эпистемологическая испорченность, связанная со структурами, процветающими в мире восточных единоборств. Эпистемологическая испорченность проявляется в вере в какие-то качества или явления, способная привести к печальным последствиям. Например, Юдковский рассказывает в одноимённом эссе («Эпистемологическая испорченность/ Рациональность: От искусственного интеллекта до зомби») печальную историю о мастере кунг-фу, практиковавшемуся во внутренних, энергетических стилях. Это был реальный большой мастер одной из внутренних школ кунг-фу. И его ученики на самом деле падали, когда он пользовался энергетическими техниками (Юдковский называет его «странный, заслуживающий внимания и внушающий страх случай самогипноза или чего-то там ещё»). Но вот он вышел — впервые, наверное, в жизни — на бой со скептиком, и был тут же уложен тем на пол. 

Правило байезинца с чёрным поясом 

В эссе «Повышение уровня вменяемости» всё того же 1800-страничного труда «Рациональность: От искусственного интеллекта до зомби» Юдковский предлагает правило, которое бы позволило правильно относиться к ошибкам. Оно называется правилом байезианца (то есть последователя байезианской статистики) с чёрным поясом: «За каждой волнующей и драматичной ошибкой находится более важная история о более крупной, но менее драматичной ошибке, которая сделала первую возможной». 

Игра «Ультиматум» 

Чтобы не мыслить неверно, нужно посмотреть, что реально происходит во время игры «Ультиматум». В ней участвуют два игрока. Первый должен так поделить находящееся на кону, чтобы второй принял такое деление в качестве справедливого. Тогда и первый, и второй получают означенные доли. В противном случае, если второй не соглашается с делением, оба не получают ничего. По мнению Юдковского, изложенному в эссе «Цена союза» в книге «Рациональность…», раньше считалось в рамках конвенциональной теории принятия решений, что правильным решением в случае второго будет взять в любом случае то, что дадут (чтобы не терять), а в случае первого, оставить второму самую малость. Но классическая теория не учитывала влияние знания первого о такой позиции второго на поведение первого, который в таком случае не был бы обязан давать второму больше пенни. Реальное рассмотрение игры дало совершенно другие результаты. Оказалось, что второй никогда не соглашался забрать меньше 30 долларов, хотя эта сумма и равнялась средней зарплате за два дня. Соответственно, исходя из этого знания, и делили первые.

Интеллектуалы должны кооперироваться 

В тексте «Почему представители нашего вида не умеют кооперироваться?» из той же книги Юдковский пытается ответить на вопрос, почему аудитория, к которой он обращается, а ей оказывается, как становится дальше ясно из текста, «толпа из Силиконовой долины», проигрывает в вопросах политики. Тому есть, по его мнению, две причины. Первая: интеллектуалы не умеют объединяться. Если бы у меня были специальные курсы по подготовке рационалистов, признаётся автор, я бы заставил их в один день приходить одетыми по-разному, а в другой — в однообразную униформу, чтобы они умели не только разъединяться, но и соединяться. Зачем им соединяться? Если самым коротким и ёмким объяснением рационализма являются слова «должно существовать то, что должно быть разрушено с помощью истины»? Да, это ёмкое объяснение. Но оно должно быть дополнено, по мнению Юдковского, вторым кредо: «То, что истина питает, должно процветать». Нужно, считает он, уметь и соединяться, и разъединяться, и пока и то и другое не достигнуто, ты лишь «полурационалист». «Почему наша культура, — задаётся он вопросом, — ставит ударение на героическом неприятии и уделяет такое незначительное внимание героическому согласию и героическому консенсусу?»

Второй причиной поражений «силиконовой толпы» является непринятость в интеллектуальных кругах сильных эмоций. Она связана, считает он, с тем, что у рационалистов до сих пор образцом является Спок из «Звёздного пути». Благодаря «архетипу Спока», думает он, интеллектуалы привыкли воспринимать рациональное как нестрастное или даже как циничное. По его же мнению, «в жизни есть части, в которых мы должны научиться аплодировать сильному эмоциональному языку, ораторскому искусству, поэзии. Нужно что-то решить, и поэзия помогает это решить. Значит, она заслуживают аплодисментов».

Замените символ субстанцией 

Чтобы упростить спор и перевести его в лучшее русло, нужно, советует Юдковский, символ заменить субстанцией. Для этого можно поиграть в игру «Табу». В ней играющий должен суметь объяснить какое-то слово, не пользуясь им и самыми важными его синонимами. Если серьёзно подойти к «Табу», считает Юдковский, и играть в её, не стремясь играть в «Табу», но действительно стараясь объяснить нечто, не прибегая к синонимам, можно, по мнению мыслителя, избежать большого количества ошибок.  

 

Изображения: Flickr.com/photos/davidorban