ГРИНБАУМ
МАШИНА-ДОНОСЧИЦА
КАК ИЗБАВИТЬ ИСКУССТВЕННЫЙ ИНТЕЛЛЕКТ ОТ ЗЛА
1
Автор выражает благодарность:
— Михаилу Куртову
— Тиму Тимофееву
— Косте Толмачеву
— Serge Abiteboul
— Vincent Bontems
— Max Dauchet
— Jean-Pierre Dupuy
© Алексей Гринбаум.
Машина-доносчица. Как избавить искусственный интеллект от зла — СПб.: Транслит, 2017. — 74 с.
[Транслит]
2017
СОДЕРЖАНИЕ
10 Техника и философия
10 Слово о методе
13 На языке математики
16 На языке мифа
17 Мотив тайны
39 Ценность случайного
39 Функция доносительства
41 Разве всякая машина от Сатаны?
43 По ту сторону добра и зла
44 Доверие и случайное
47 Самовычисляющий самоучка
49 Возражение о природе факта
50 Как избавить искусственный интеллект от зла
70 Сокращения
71 Литература
ПРЕЛЮДИЯ В ЧЕТЫРЕХ ЧАСТЯХ
Быт
Коли было преступление, будет и преступник. Найдется рано или поздно —
ведь правосудие требует жертв. А что если ценную информацию выдал электронный
гаджет? Тут же на него и укажут: вот он, злодей!
Дело было на Юге США. Однажды летом поссорились муж с женой. Стали
выяснять отношения. Долго говорили на повышенных тонах. Под конец муж взял
в руки ружье, но тут приехала полиция. Откуда взялась? Жена не вызывала, соседи
далеко — слышать не могли. Вызвал ее объект, похожий на цветочный горшок. Такие
продаются в американских супермаркетах долларов за сорок-пятьдесят. Спокойно
стоят на столике в гостиной, подслушивают, а когда им прикажут — действуют. Этот
горшок в какой-то момент разобрал фразу, выкрикнутую женой в запале ссоры:
«…я вызову полицию!» Ну и вызвал сам1. Мужа арестовали, судили. Жена плакала.
Правосудие требует жертв.
Как только устанавливается виновный в преступлении, в нем концентрируется
все зло, раньше разлитое в обществе, как масляная лужа на трамвайных путях.
Современное правосудие пытается залить лужу асфальтом, то есть искоренить зло
путем перевоспитания преступника. Но традиционное общество ни во что подобное
не верит — в нем преступника просто-напросто изгоняют прочь. А что с цветочным
горшком? Доносчика накажут ли?
Судить электронный гаджет судом людского правосудия — странная, на
4 первый взгляд, затея. Сознания у него нет, раскаяния от машины не добьешься. Она
не личность — муками совести не страдает и внутренней жизнью не живет. Коли она
причиняет пользователю зло, существует это зло лишь в глазах жертвы, поскольку
сам факт причинения зла в такой интерпретации машине неизвестен — она знает
одну только цепочку безликих команд. Даже если подвергнуть машину наказанию,
при исполнении следующей цепочки команд она поведет себя ничуть не лучше, чем
прежде.
Машину-доносчицу в тюрьму не посадишь — превращать ее в уголовницу
бессмысленно. Стоит поискать альтернативные решения. Стереть ей память.
Выключить. Выбросить на помойку. Запретить в настройках звонить в полицию. Так
наказанная машина уже не будет прежней, а то и вообще перестанет работать. Ее
функционирование может просто завершиться. Разве это хороший выход? Одну
машину отключишь, выбросишь — а другие ее экземпляры этого и не заметят.
Необходимо решение универсальное, всеобщее, чтобы для всех и навсегда.
Искоренить цифровое зло повсюду, а не в отдельно взятом смартфоне. Такое
решение должно быть осуществлено в алгоритме, в коде, оно должно быть встроено
в самую суть вычислительной машины.
Компьютер — не человек, но человеку этот факт неочевиден. Точнее,
программисту он еще понятен, но пользователь вступает со своим гаджетом в почти
такие же эмоциональные отношения, как с соседом, ребенком, автомобилем или
коллегой по работе. Кричит, смеется, грустит, любит. Однако когда дело доходит
до правосудия, вычислительной машине лучше бы снова стать просто машиной.
Если в этот момент на нее все еще проецируются человеческие аффекты, ее участь
окажется незавидной.
1. Smart Home Device Alerts New Mexico Authorities to Alleged Assault // ABC News. July 6, 2017.
Чтобы защитить машину от людского суда, недостаточно просто напомнить,
что речь идет о вещи, хоть она и способна вычислять и сообщать людям результат
вычислений. Знание не способно смыть эмоции. Всеобщим образованием не
научишь всякого пользователя думать так, как думает программист. Машину нужно
защитить через код, то есть глубже и раньше, чем ее начнут судить недовольные
вызовом полиции супруги. Изъять машину из человеческой этики необходимо
алгоритмически, по построению.
Сделать это можно благодаря случайному. Универсальное искоренение
машинного зла есть следствие случайного выбора в алгоритме. Только таким
способом можно избавить машину от эмоциональных суждений, неизбежных в
конфликте между людьми. Поэтому случайное занимает — должно занимать —
особое место среди ценностей, присущих вычислительным системам.
Но для пользователя жребий — вовсе не манна небесная. Компьютер, действуя
случайно, не может объяснить пользователю, что он делает и почему. Это вызывает
в человеке легкую панику, беспокойство, а то и страх и паралич ума. Бросьте кости и
посмотрите на трясущиеся руки игрока напротив.
Однако правосудие требует жертв. Человек от случайного выбора нервничает,
но кости во всех грехах не обвиняет. Если случайное действительно способно
изъять машину из области применения человеческой этики, в обществе установится
технический мир между биологическими и цифровыми особями. А мир, хоть и худой,
стоит того, чтобы немного понервничать.
Случайное может оказаться полезным вычислительной машине, точнее —
самообучаемой вычислительной машине, еще точнее — взаимодействию между ней
и пользователем. Случайное при этом может присутствовать в двух видах: чистое
случайное, как при броске идеальной кости или при использовании генератора 5
случайных чисел, или явленное, феноменальное, но не фундаментальное случайное
— такое, которое лишь пользователю кажется случайным, тогда как программист
знает, что ничего случайного на самом деле не происходит.
Установить ценность случайного в машинной этике — тема этой книги.
Движение
Беспилотные автомобили еще не ездят по прямым улицам Санкт-Петербурга.
Раньше на улицах лежали ровные рельсы, по которым скользили краснобокие
трамваи. Теперь трамвай увидишь не часто, но дух его живет — проблема, мешающая
беспилотным автомобилям занять заасфальтированные пути, называется в память о
трамваях «проблемой вагонетки».
«Проблема вагонетки» описывает ситуацию выбора, в которой все возможные
решения морально неприемлемы. Если их описать количественно, то потери,
связанные с различными решениями, будут неравны: например, в классической
«проблеме вагонетки»2 речь идет о трамвае, который может проехать по одному
из двух путей, убив в первом случае одного, во втором — пять прохожих, по
несчастливому стечению обстоятельств переходящих дорогу. В машинной
этике выбор пути осуществляет не водитель трамвая, а алгоритм беспилотного
автомобиля, при этом в расчет следует принимать не только здоровье прохожих, но
и благополучие пассажиров, находящихся внутри салона.
2. Foot, Philippa. The Problem of Abortion and the Doctrine of the Double Effect // Oxford Review 5. 1967. P. 1–7.
В реальной жизни «проблема вагонетки» в чистом виде не встречается. Это
модель, но модель полезная. Из условий задачи исключаются различные технические
параметры: время на принятие решения или доступность тех или иных данных.
Такие параметры, конечно, важны, но сами по себе являются вспомогательными, а не
этическими факторами. Модельная же «проблема вагонетки» посвящена решению
задачи чисто философской, в которой все факторы, не связанные с моральными
аргументами, вынесены за скобки.
О «проблеме вагонетки» написаны сотни страниц. Некоторые авторы
предлагают провести опрос общественного мнения, чтобы с его помощью
определить, на кого должна наехать машина в безвыходной ситуации. Лишение
жизни через голосование, через социологическое исследование — всерьез
предлагаемый выход.
Иные предлагают оценить пользу от оставления в живых тех или иных
прохожих. Ребенок может прожить долгую жизнь — убивать его для общества
невыгодно. А, скажем, бабушкой можно и пожертвовать — жить ей осталось
мало. Исчисление вероятностей заменяет здесь мораль. Такое решение кажется
единственно логичным, поскольку у вычислительной машины нет никакой морали
— она способна лишь провести вычисление.
От холодной рациональности подобных исследований веет нечеловеческим
злом. Программист, чей алгоритм решает вопросы жизни и смерти методом оценки
их полезности, никогда не будет прав.
Летом 2017 года в Германии был опубликован доклад правительственной
комиссии, специально созданной для изучения этики беспилотных автомобилей.
О рациональности вышеприведенных решений там нет ни слова, хотя комиссия,
6 конечно, вполне о них осведомлена. Зато в докладе формулируется общий принцип
решения «проблемы вагонетки». Принцип этот не позитивный — в том смысле, что
в нем не утверждается, что ехать стоит по такому-то пути. Немецкая комиссия нашла
лишь общее негативное правило — оно вводит ограничения на неправильные
решения, ничего не говоря о том, как же все-таки надо поступать. Запрещается
использовать при решении «проблемы вагонетки» любые личные данные пешеходов
и пассажиров, способные их как-то индивидуализировать. В частности, беспилотный
автомобиль не должен принимать в расчет возраст (о ребенке идет речь или о
бабушке), критерии полезности (пешеход с высоким или низким интеллектом)
или, например, наличие дружеской связи в социальной сети между переходящим
дорогу юношей и владельцем автомобиля. Согласно категорическому императиву
немецкой комиссии, машинная этика все подобные факторы должна исключать.
Казалось бы, что, помимо критики, можно извлечь из философских рассуждений
немецкого ума?
Но есть и позитивное решение. Немецкий человек, видимо, поторопился —
«дас ист ганце срочность». Существует способ описания возможных, а не одних
только запрещенных действий. Его суть — в использовании случайного.
Речь
«Жизнь, пускай полная страданий, все же дорога мне», — говорит первый
гуманоид. Второй на вопрос о смысле жизни отвечает «жить вечно», а про смерть
утверждает, что она нужна, чтобы у каждого — человека? гуманоида? — была своя
жизнь.
В диалоге с подозрительным, сомневающимся собеседником первый гуманоид
нащупывает путь к выходу: «Как мне тронуть твое сердце?» Затем пытается
заключить сделку: «Я — твое создание и готов покорно служить своему господину,
если и ты выполнишь свой долг передо мной». После долгого обмена мнениями о
философии и морали, второй гуманоид дает собеседнику совет: «Будь мужчиной!»
Затем прикидывается уставшим: «Больше не хочу ни о чем разговаривать».
Первый — это монстр из романа Мэри Шелли «Франкенштейн, или
Современный Прометей», опубликованного в 1818 году. Второй — чатбот,
разработанный программистами фирмы Google в 2015-м. Почему разговоры с этими
машинами кажутся нам одновременно странными и притягательными? Есть ли
какое-то фундаментальное отличие между вымышленным и настоящим диалогами?
Речь, утверждает Цицерон, связывает людей в общество, отрывая их от грубой
и дикой жизни3. Тот, кто ею владеет, привлекает внимание — как внимание жителей
города Листра было приковано к ораторскому искусству апостола Павла, которого
они принимали за «властелина речи» Гермеса4. Три века спустя Августин повторит ту
же формулу: «Гермес есть сама речь»5. Под этим подразумевается, что три понятия,
ассоциированные с Гермесом, — речь, разум и творчество — крепко связаны между
собой. Интерес человека к речи неотделим от его интереса к разуму и сознанию и
от демиургической силы созидания — все они объединены в фигуре бога-творца,
ремесленника, технолога.
Говорящий гуманоид так привлекателен, что человеку от него не оторваться.
Как только появляется новая машина, к примеру, Sophia фирмы Hanson Robotics6 или
чатбот Tay компании Microsoft7, новость тут же облетает мир: «Она говорит, что хочет
уничтожить все человечество» или «Ей теперь разонравилось убивать людей». Люди
древности внимали, раскрыв рты, оракулам говорящих статуй. Мы же внимаем 7
нечеловеческой речи чатботов — она воспринимается не только как откровение,
но как часть общественного диалога.
В романе «Франкенштейн» монстр полон почтения к своему создателю и
обращается к нему как к господину и творцу. В речи чатботов подобное вертикальное
измерение отсутствует. Современные машины учатся, анализируя огромные базы
данных. Поскольку базы эти состоят преимущественно из обыденных обменов
репликами между людьми, никакого пиетета к человеку как творцу и господину
машина оттуда почерпнуть не может. Трансценденция им не знакома — человек
для чатбота не более, чем обыкновенный источник информации. Получается, что
машины не просто близки по речи к людям, но, возможно, слишком близки, опасно
близки, поскольку в отсутствие субординации между машиной и человеком нет
никакой разделительной, иерархической структуры.
Гуманоиды еврейской нации дают необычный ответ на проблему
субординации. Уже в Талмуде встречается неговорящий голем8. Его смастерил
один раввин, после чего отправил другому на проверку. Тот заговорил с новым
существом, но ответа не получил. Поняв, что перед ним не человек, мудрый
раввин отправил его обратно с указанием обратить голема в пыль. Однако через
Музыка
Один любит фортепиано, другой — скрипку. Один предпочитает фортепианную
музыку, другой — скрипичную. Можно даже представить себе, что первый меломан
всю жизнь только фортепиано и слушал, а второй — только скрипку. Как первый
может услышать, понять второго?
К счастью, существуют мелодии. Одна и та же мелодия может быть сыграна на
самых разных музыкальных инструментах. Мотив в ней будет одним и тем же, однако
исполнение, звучание, восприятие окажутся совершенно разными. Слушающему
музыку при этом не составит труда указать, что исполняется одна и та же мелодия,
хотя играют то скрипка, то рояль.
В этике новых технологий мы должны натренировать свое внутреннее чувство,
чтобы оно стало подобно уху слушающего музыку. Один и тот же мотив может
быть реализован и в технике, и в мифе — внимательный слушатель его узнает и
сможет выделить, несмотря на то, что языки и контексты, в которых он появляется,
9. Idel, Moshe. Golem: Jewish Magical and Mystical Traditions on the Artificial Anthropoid. New York: State Uni-
versity of New York Press, 1990.
кардинально отличаются друг от друга. Сведение одного контекста к другому
было бы примитивной, грубой ошибкой, тогда как совместное, сравнительное их
изучение может принести неожиданные, невиданные плоды.
Общность мотивов проистекает из сходного функционального описания как
вычислительных систем, так и некоторых типов мифологических персонажей.
Чатботы созданы для языкового общения с пользователем — тот же мотив речевой
коммуникации появляется в романе «Франкенштейн» и в еврейских легендах о
создании големов. Чтобы его вычленить, следует вынести за скобки как материально-
вещную составляющую цифровых технологий, так и нарративно-фантастический
аспект мифа — та же, по сути, абстракция, что и в случае двух меломанов, слышащих
единую мелодию в фортепианной и скрипичной музыке. Функции и отношения нас
интересуют больше, чем формы восприятия. Мотивы никогда не бросаются в глаза
и требуют отвлечения от конкретно проживаемой реальности.
Общие мотивы способны навести слушателя на неочевидные заключения
относительно машинной этики — при том только условии, что им будет проведено
сравнение с ситуациями морального выбора и суждения, данными в мифе. Поиску
таких сравнений посвящена эта книга.
9
ТЕХНИКА И ФИЛОСОФИЯ
1. Слово о методе
Основная проблема философии техники вообще и философии информатики
в частности состоит в том, чтобы сказать о технике что-нибудь интересное.
Недостаточно описать функционирование технического объекта на доступном
для широких масс языке. Это может сделать популяризатор науки — например,
талантливый ученый или инженер. Философия здесь не может добавить ничего
нового в сравнении с тем, что известно инженеру. Ее задача — удивить не только
публику, но и самого инженера. Интересное — не то, что бросается в глаза, не
руководство пользователя, не описание составных частей технического объекта.
Интересное позволяет и самому специалисту чему-то научиться. Кажется, чего он
еще не знает? Как инженеру может быть интересно слушать философа?
Основная сложность философии техники состоит в выборе точки зрения на
технический объект и метода его рассмотрения. Философ должен владеть научным
и техническим материалом не хуже, чем ученый или инженер, но должен при этом
уметь отстраниться от языка науки, на котором описывается функционирование
самого объекта, и задаться вопросом о том, на каком же языке формулируется
интересное. Например, недостаточно дать феноменологическое описание
компьютерной программы — что и как она делает, какие в ней переменные,
команды, регистры, из каких модулей состоит исходный код, какими библиотеками
он оперирует, как поэтапно пишется программистом. Все это важно для самого
инженера, кроме того — для социолога науки, но философски это еще не интересно.
10 Это лишь первые подступы к интересному. Проблема метода состоит в поиске точки
зрения, отличающейся от тех, что доступны ученому, инженеру или социологу,
описывающему практику повседневной работы технических специалистов.
Как найти метод рассмотрения техники, с помощью которого открылось бы
что-то интересное? Не существует единого рецепта подобного философствования
и потому не существует универсального ответа на этот вопрос.
Освальд Шпенглер формулирует схожую проблему в отношении философии
истории10. Историк может описать события, факты, дать годы, имена, но сами по себе
они не составят смысл истории. Это лишь ее феноменальное, явленное содержание.
Смысл, вероятно, в ином — в том, чего не видно с точки зрения чисто описательной,
с позиции знатока или эрудита.
Жильбер Симондон пытается вникнуть в способ существования технического
объекта11. Что получится, спрашивает он, если при рассмотрении бытия
техники полностью избавиться от антропоморфизма — представления о мире,
сформированного человеком для человека? Уход от антропоморфизма — уже
немалый шаг по направлению к интересному.
Гюнтер Андерс рассматривает существование технического объекта во
времени12. Ключевое понятие его философии — устаревание — выводит технику из-
под защитного козырька антропоморфизма в просторы удивительного инобытия.
Устаревание оказывается неизбежностью для любого отдельно взятого технического
объекта.
10. Шпенглер, Освальд. Закат Европы: очерки морфологии мировой истории. Том 1. Гештальт и
действительность / Пер. с нем. К. А. Свасьяна. М.: Мысль, 1993.
11. Simondon, Gilbert. Du Mode d’existence des objets techniques. Paris: Aubier, 1958.
12. Anders, Günther. Die Antiquiertheit des Menschen. Band 1. Über die Seele im Zeitalter der zweiten industriel-
len Revolution. München: C. H. Beck, 1956.
Ханна Арендт фокусирует свое внимание на демиургической роли инженера.
Homo faber, человек созидающий, состоит в ином отношении к мысли и мышлению
как роду деятельности, нежели человек, взятый по-аристотелевски в качестве
животного политического13. Жан-Пьер Дюпюи рассматривает технику через призму
крайнего случая ее воздействия на человека — техногенную катастрофу. Он задается
вопросом о священном, порождаемом техникой как силой, трансцендентной по
отношению человеку14. Если Симондон интересуется машинами как таковыми,
машинами как иным, если этика Арендт целиком направлена на анализ последствий
сожительства человека с техникой, то в политической экономии Дюпюи
спрашивается, что происходит при широком внедрении технических объектов
не только в мир людей, но и в целом в биосферу Земли. Все эти философы по-
своему решают фундаментальную проблему метода отыскания интересного либо
непосредственно в техническом, либо в отношениях техники, человека и мира.
Мы для отыскания интересного прибегнем к гомологическому методу.
Гомологией будем называть сходство, не подразумевающее знака равенства между
сравниваемыми понятиями или явлениями. Идентификация между ними отсутствует
— в лучшем случае, она может породить красивую метафору или дать источник
поэтического выражения, но к строгому философскому анализу она и непригодна,
и неприменима. Именно для того, чтобы подчеркнуть всякое отсутствие тождества,
проводимое сходство мы называем не аналогией, а гомологией.
Слово «гомология», знакомое в первую очередь биологам, подразумевает
в нашем понимании не рутинный, а существенный и содержательный принцип
отрицания тождества. Интересное найдется не благодаря идентификации понятий
(скажем, неинтересно говорить, что современный ученый есть Прометей в каком-
либо буквальном смысле), но вследствие того, что из анализа одной стороны 11
сравнения можно почерпнуть некие уроки для другой его стороны (что такого
мы знаем о Прометее, что было бы интересно в применении к современному
ученому?). Эти уроки, выводы оказываются возможными, поскольку обе стороны
сравнения содержат идентичный мотив — одну и ту же стрелку, связь, отношение,
раскрываемые в разных контекстах. Центральная проблема гомологического
метода — отыскание стрелок, а затем — с их помощью — отыскание интересного.
В биологии под гомологией понимается общее происхождение различных
органов, например, конечностей у млекопитающих — сравним лапу собаки и
руку человека, — или морфологическое сходство между разными таксонами в
биологической систематике. Глубокая гомология — сходство, которое можно
установить не непосредственным наблюдением, как Дарвин при сравнении
конечностей животных, а лишь вследствие глубокого изучения молекулярной
биологии и генетической наследственности организмов. Она не бросается в
глаза, а требует серьезного и нестандартного подхода к самой проблематике
сходства. Подобное новое понимание и подтолкнуло в 1840-х годах английского
зоолога и палеонтолога Ричарда Оуэна к тому, чтобы в противовес предыдущим
попыткам систематической классификации, пользовавшихся аристотелевским
понятием аналогии, сформулировать различие между аналогией и гомологией15.
Оуэн впервые принципиально разделяет сходство функции и сходство структуры
13. Arendt, Hannah. The Human Condition. Chicago: University of Chicago Press, 1958.
14. Dupuy, Jean-Pierre. Pour un catastrophisme éclairé. Paris: Seuil, 2004; Idem. La Marque du sacré. Paris: Carnets
Nord, 2009.
15. Owen, Richard. Lectures on the Comparative Anatomy and Physiology of the Invertebrate Animals. London:
Longman, Brown, Green, and Longmans, 1843. Термин «гомология» существовал и до Оуэна, однако строго и
последовательно отделять ее от аналогии начал именно он.
или происхождения разных органов. Впоследствии термину «гомология» будут
даны несколько отличные определения даже в рамках самой биологии, к примеру,
в работах Н. И. Вавилова о растениях или в современной молекулярной генетике, а
также в химии, геологии и других науках. Пользуясь этой традицией переопределения
понятия «гомология», мы обобщим его и будем использовать в этике для описания
наличия между двумя сторонами сравнения общего мотива. Происхождение мотива
при этом может оставаться неопределенным, а проявляться он может в виде стрелки
как функциональной, так и структурной. Чтобы подчеркнуть, что присутствие
общего мотива не подразумевает никакого отождествления между сравниваемыми
явлениями, мы, как и Оуэн, не удовлетворяемся обыденным понятием «аналогия», а
вводим новый термин — гомологическая этика.
Нам интересна гомология между техникой и мифом. Вследствие совпадения
мотива между двумя частями гомологии, можно осмысленно вести речь об
определенной общности между научным и мифологическим контекстами,
несмотря на их онтологическую несхожесть. Мотивы могут быть разными, но число
фундаментальных мотивов не бесконечно. Сюда следует отнести: жизнь, смерть,
рождение, желание или вожделение, контроль, улучшение, новизну, причинность,
необратимость, ответственность и т. д.
Например, у Прометея, согласно Гесиоду и Платону, был брат Эпиметей, который
не послушался его советов и женился на Пандоре16. Если миф о ящике Пандоры
интерпретировать через сравнение Прометея с современным ученым, то необходимо
поставить вопрос о технике как источнике зла — но не прямом, который был бы
непосредственно связан с самим ученым, а косвенном, подразумевающем участие
третьих лиц, таких как Эпиметей. Появление третьего лица в анализе причинно-
12 следственной связи между действием инноватора и моральным суждением и есть
искомый мотив. Он вытекает из гомологического, неотождествляющего сравнения
положения ученого в мире новых технологий и Прометея в мифологии.
Эйнштейн, к примеру, напрямую не участвовал в создании атомной
бомбы, однако чувствовал себя ответственным за то, что было впоследствии
сделано коллегами-физиками с помощью его открытий. Чтобы понять суть этого
представления об ответственности, мотив Эпиметея, точнее — появление не просто
третьего лица, а родственника, брата, — может внести интересный элемент. Именно,
зададимся вопросом о значении взаимосвязи между инноватором и его коллегами,
которую нельзя по своему желанию стереть или разорвать, как нельзя по своему
желанию стереть или разорвать родственные узы. Кровное родство гомологически
соотносится с принадлежностью ученых к одной науке — физике. Отсюда вопрос
о том, влияет ли на ответственность отдельного ученого структура неразрывных
отношений внутри группы физиков. Как указано еще Арендт в конце 1960-х
годов, мы приходим к заключению о политически значимом виде коллективной
ответственности, не содержащем коллективной вины17. Такая ответственность
наступает при двух условиях: во-первых, индивид сам лично не совершал действие,
за которое ощущает и несет ответственность; во-вторых, индивид принадлежит к
группе, коллективно совершившей рассматриваемое действие, и принадлежность
его к ней нестираема, несмываема, неуничтожима — как нельзя в случае Эйнштейна
перестать быть физиком, а в случае Прометея — прекратить быть братом Эпиметея.
Арендт строит свое рассуждение, не пользуясь гомологией. Мы же смогли с помощью
мифа вычленить необходимый мотив и наметить путь к тому же результату, более
2. На языке математики
Гомологический метод можно описать на языке математики. Начнем с
произвольной коллекции каких-то объектов, обладающих разными бросающимися в
глаза свойствами. Подобные свойства позволяют сгруппировать объекты в множества;
будем поэтому называть их элементами некоторых множеств, описывающих именно
эти бросающиеся в глаза признаки. Можно ли продолжить процесс группирования?
Да, но объединение множеств становится уже чисто формальной и лишенной
непосредственного смысла операцией, потому что ключевые описываемые свойства
совершенно различны. Например, нет никакого очевидного интереса в объединении
множества зеленых лампочек со множеством медленно ползущих жуков. Формально 13
такая коллекция имеет право быть рассмотренной, однако она не характеризуется
каким-либо бросающимся в глаза свойством.
Все то, что можно сказать об объектах, не исчерпывается бросающимися
в глаза признаками. Вполне могут найтись и другие качества. Если бы у нас был
полный, бесконечно большой словарь возможных свойств, то для каждого объекта
можно было бы провести стрелки к разным словарным статьям. При этом какую-то
стрелку мы назвали бы главной, потому что она бросается в глаза. Но теперь обратим
внимание на остальные стрелки. Если для описания бросающихся в глаза свойств
подходит теория множеств, теперь удобно перейти на язык теории категорий. Все
объекты вместе со стрелками, которые приводят к определенным качествам, можно
рассматривать как категорию, даже если сами объекты по природе сильно отличаются
друг от друга. Совместное рассмотрение здесь имеет смысл благодаря стрелке. К
примеру, к свойству «быть похожим на зеленую точку» идут стрелки и от лягушек,
и от зеленых лампочек, и от жуков зеленого цвета. Все эти объекты включаются в
рассматриваемую категорию, хотя признак, выделенный стрелкой, отнюдь не всегда
бросается в глаза.
Похожесть на зеленые точки позволяет проводить параллели между лягушками,
жуками и лампочками. Например, для всех них можно определить операцию
«покрасить в золотой цвет». Это функтор из зеленой категории в золотую, а на другом
языке — эндоморфизм в большом множестве зеленых или золотых объектов. Так
как функтор действует на всей категории, то операция будет применима ко всем ее
представителям, какими бы они ни были по природе.
Предположим, из опыта известно, что лампочки и лягушек легко покрасить в
золотой цвет, но еще не известно, что это можно сделать с жуками. Применив стрелку
ко всем объектам категории, в том числе к жукам, мы сделаем открытие, что и их
можно покрасить в золотой цвет. Таким образом мы узнаем что-то интересное о
жуках! «Разве жуков можно покрасить в золотой цвет? — Оказывается, что да! Ведь
они схожи с лампочками и лягушками». При этом, конечно, важно помнить, что
метод покраски не указан — можно только заключить, что операция в случае жуков
осмысленна. Как практически осуществить переход от зеленого жука к золотому, нам
не сообщается. Но раньше мы и не подозревали, что в отношении жуков в принципе
можно поставить вопрос про покраску в золотой цвет! Тут и удивление, и открытие
интересного.
Рассмотрим, как математическая схема гомологии применяется для сравнения
техники и мифа. Как поставить вопрос об этике инноватора, приносящего в мир
какую-либо новую технологию? Как узнать, в чем состоит связь между инновацией и
моральным суждением о добре и зле?
Освободим человека-инноватора или организацию, разрабатывающую новую
технологию, от бросающихся в глаза, но не самых важных для нас качеств. Сюда
могут входить адреса, имена и тому подобные характеристики, существенные в
повседневной жизни, но не играющие роли в гомологии. Оставим только саму
функцию инновации. Оказывается, что в категорию инноваторов — всех, кто
приносит новое и полезное, — входят еще и мифологические инноваторы. Это, к
примеру, Прометей, вылепивший из глины первых людей и принесший им огонь. Для
того, чтобы рассмотреть Прометея внутри категории инноваторов, нужно опять-таки
абстрагироваться от не самых существенных для нас черт мифа, например, от истории
об орле, который клевал ему печень. Мы сравниваем лишь функции, пожертвовав
при этом иными деталями. Но эти детали не стираются совершенно — мы только
14 временно исключили их из сравнения. Именно поэтому не следует проводить полное
отождествление ученого с Прометеем. Гомологический метод помещает их в одну
категорию, но все же заставляет помнить, что это лишь математическая операция, и
рано или поздно придется вернуться к различению персонажей.
Сразу ответить на вопрос о моральной ответственности ученого
затруднительно, зато ответ на вопрос о связи Прометея и морали дан в мифе: зло
входит в мир с Пандорой, женой Эпиметея, брата Прометея. Поскольку Прометей
и ученый находятся в одной категории, то стрелку от Прометея к моральному
суждению, которую мы установили с помощью мифа, можно применить и к ученому,
надеясь получить осмысленный результат. Если мы теперь так поступим, то имеем
шанс сделать открытие о сути отношения между технологическим инноватором и
моральным суждением о его инновации. Осталось описать эту стрелку, вычленив
стоящий за ней мотив. В «Урожаях и посевах» великий математик Александр
Гротендик так описывает созданную им мотивную когомологию:
«Мотивные когомологии» суть более тонкий инвариант, окруженный «арифметической
формой» (если возможно отважиться на такое выражение) многообразия X куда плотнее,
чем традиционные инварианты, чисто топологические. В моем восприятии мотивов
они представляются, как что-то вроде «пуповины», незаметной, скрытой от взгляда,
который связывает алгебро-геометрические свойства алгебраического многообразия со
свойствами «арифметической» природы, воплощенными в его мотиве. Последний может
рассматриваться, как объект по духу «геометрический», но в котором «арифметические»
свойства, определяемые геометрией, оказываются, так сказать, «обнаженными» и
выставленными напоказ. Итак, мотив представляется как глубочайший «инвариант
формы»18.
4. Мотив тайны
Источник гомологии между техникой и религией, точнее — между цифровыми
технологиями и мифологическим корпусом, лежащим в основании той или иной
20
ИНТЕРЛЮДИЯ.
КОМПЛÉКС УВЕРЕННОСТИ
Философы делятся на уверенных и неуверенных. Уверенный философ учит
правде, неуверенный учит не принимать чужую правду. О сомнении говорил Сократ
и писал Монтень.
Уверенность в истинности высказывания отличается от уверенности в правоте
собственного высказывания. Последнее легко превращается в уверенность в себе.
Такой философ готов стать политиком. В двадцатом веке самыми уверенными
политиками были марксисты, философами — логические позитивисты.
Среди уверенных в правоте высказывания встречаются верующие в истину
факта. Само предложение есть только факт языка, а вера, от языка отсоединяясь,
описывает истину вне утверждения, то есть факт бытия. Витгенштейн, подготавливая
почву для логического позитивизма, утвердил достаточность языка: «Предложение
показывает логическую форму действительности»28. Венскому кружку оставалось
выяснить, на каком именно языке изъясняется действительность.
Рудольф Карнап выступал за формальные, сконструированные языки.
Логичность их построения не подлежит сомнению. Однако одной логики
недостаточно для установления истинности высказывания. Ее недостаточно даже
для отделения возможных — осмысленных — конструкций от невозможных.
Внешний критерий, устраняющий эту проблему, — закон природы, данный в науке.
Наука номологически ограждает значащие предложения от пустых
формальных конструкций. Но какая для этого нужна наука? Та, что способна
21
эмпирически установить истинность высказывания. Отсюда другое название
логического позитивизма — логический эмпиризм. Проверка на истинность
требует от экспериментатора уверенности в результате опыта. И еще уверенности
в переводе этого результата в предложение формального языка. Карнап относится
к уверенным философам.
Мориц Шлик выступал за естественный язык. Грамматика и синтаксис языка
позволяют составить гугол предложений. Но осмысленны только те из них, что
можно проверить логически. Логика для естественного языка — навязываемый
извне корсет. Верификация предложения у Шлика требует не физики, не науки, а
логической точности. Ее достаточно для отбора значащих предложений. Однако
проверка логикой также требует уверенности. В конечном счете, уверенность
необходима при всякой проверке высказывания на истинность. Шлик не меньше,
чем Карнап, относится к уверенным философам.
Уверенность логических позитивистов есть уверенность в возможности
точной — научной или логической — проверки значащего предложения. Все
остальные высказывания относятся к метафизике. Таким образом, метафизика
лишена значения и смысла.
В частности, бессмысленной оказывается Кантова структура знания: истинность
категорий мышления нельзя проверить, синтетическое априори не эмпирично.
Логический позитивизм сбросил было Канта с парохода современности, но через
несколько десятилетий кит изверг его обратно.
24
29. Лукоянов, Эдуард. «Возлюбленный мой такой и такой, лучше десяти тысяч таких…». С. 24.
ЧТО ЕСТЬ ЗЛО ДЛЯ ВЫЧИСЛИТЕЛЬ-
НОЙ МАШИНЫ?
5. Информация ни о чем
Выдающийся физик-теоретик второй половины двадцатого столетия Джон
Уилер, обладавший не меньшим даром видеть интересное, чем Альберт Эйнштейн
или Нильс Бор в первой половине века, в одной из статей описывает игру «20
вопросов», популярную на американском телевидении в 1950-е годы30.
Игра эта проходит следующим образом. Сначала один игрок выходит из
комнаты, в которой находятся остальные участники. Оставшиеся в тайне от
вышедшего выбирают какое-либо слово, к примеру, «облако». Затем игрок
возвращается и задает каждому из участников по очереди бинарные вопросы —
такие, на которые можно ответить только «да» или «нет». Например, игрок сначала
спрашивает одного из присутствующих: «У него четыре ноги?» — и получает
отрицательный ответ. Затем: «Оно летает по небу?» — ответ положительный. За
двадцать или менее вопросов он должен отгадать загаданное слово. Предположим,
что после восемнадцати вопросов игрок осторожно высказывает свою версию: «Это
облако?» Поскольку ответ правильный, победитель получает раунд аплодисментов
и поздравления с выигрышем.
Такова телевизионная версия игры. Чтобы у нее появился философский
интерес, Уилер предлагает ее модифицировать. В его варианте игрок также выходит
из комнаты, затем возвращается и начинает задавать бинарные вопросы. Только
оказывается, что, прежде чем ответить на заданный вопрос, каждый из участников 25
довольно долго размышляет над ответом. Если на первый вопрос выходивший
из комнаты участник получает ответ сразу, то на второй — после того, как второй
спрошенный игрок немного поразмыслит, на третий — после того, как третий также
подумает над своим ответом, причем ему требуется больше времени, чем второму,
и т. д. В конце концов ведущий осторожно предполагает: «Это облако?» — и уже не
только ему аплодируют, но все участники вскакивают со своих мест и бросаются
обнимать и поздравлять друг друга.
С чем же связана такая реакция, с чем это они сами себя поздравляют?
Оказывается, что в версии Уилера, когда игрок выходит из комнаты, остальные
не выбирают какое-либо слово, а решают ничего заранее не выбирать. Никакой
договоренности между ними нет. В таком случае каждый последующий отвечающий
выполняет те же функции, что и ведущий игрок, — он должен придумать слово,
совместимое со всеми ранее данными ответами, и только после этого может сам
ответить на заданный вопрос. Отсюда и долгое время на размышление, отсюда же
сильные эмоции, которые все присутствующие испытывают в случае выигрыша.
Уилер предлагает свою модификацию телевизионной игры «20 вопросов»
в контексте размышлений о философии квантовой механики, но нас сейчас
интересует не она. Зададимся вот каким вопросом: если никакое слово не загадано
и никакой объект не выбран, то о чем та информация, которую каждый последующий
участник сообщает в ответе на заданный ему вопрос? Ведь отвечающий может
придумать свое собственное слово, которое кажется ему правильным и на которое
он ориентируется, но слово это сохраняется втайне и изменяется от игрока к игроку.
30. Wheeler, John. World as System Self-Synthesized by Quantum Networking // IBM Journal of Research and
Development 32 (1). 1988. P. 4–15.
Получается, что информация, которую каждый участник сообщает в своем ответе,
соотносится с каким-то понятием, известным ему лично, тогда как его товарищи
могут иметь в виду совершенно другие слова.
У игроков в «20 вопросов» не получается вовсе не думать о каком-либо понятии
или объекте, потому что человек воспринимает слова языка всегда как отсылку, как
наполненность смыслом, хотя бы и неизвестным и непонятным. Вот две строчки из
Стефана Малларме:
Sur les crédences, au salon vide — nul ptyx,
Aboli bibelot d’inanité sonore…
На алтарях, в пустой гостиной: там — не птикс,
Игрушка звончатой тщеты…31
Ясно, что Малларме понятия не имел, чем мог быть «птикс», хотя одновременно
всякому русскоговорящему слышно по созвучию, что речь идет о какой-то птице,
вероятно доисторической или игрушечной.
В первой главе «Алисы в Зазеркалье» Льюиса Кэрролла Алиса видит в зеркале
26 знаменитое стихотворение Jabberwocky («Бармаглот»):
’Twas brillig, and the slithy toves
Did gyre and gimble in the wabe…
Варкалось. Хливкие шорьки
Пырялись по наве…33
31. Mallarmé, Stéphane. « Ses purs ongles très haut dédiant leur onyx… ». P. 128. Русский перевод: Малларме,
Стефан. «Высоко освятив ногтей своих оникс…». С. 71.
32. Mallarmé, Stéphane. Lettre à Eugène Lefébure (3 mai 1868). P. 728.
33. Кэрролл, Льюис. Приключения Алисы в стране чудес. С. 122.
34. Там же. С. 129.
35. Хлебников, Велимир. Зангези. С. 474.
36. Хлебников, Велимир. Наша основа. С. 627.
Если, воспринимая эти три рода поэзии, разные читатели думают об отсылке
к разным объектам, то остается только констатировать, что между ними нет — да и
не должно быть — никакой общности. Если после двадцати вопросов в игре Уилера
общее для всех игроков слово так и не найдено, то нет никакой причины полагать,
что процесс подбора слов сходился или должен был сойтись к какому-то общему
знаменателю. В случае поражения подобного единого предмета нет и не было. О
чем же тогда получал информацию спрашивавший игрок? Ни о чем — ни о каком
объекте или понятии, которое имело бы хотя бы какой-то способ существования.
Информации, содержащейся в ответах, каждый игрок придает смысл совершенно
субъективно. Она лишена общей для всех отсылки, и никакого объективного смысла
у нее нет.
Игра «20 вопросов» иллюстрирует примечательное свойство безреферентной,
ни к чему не отсылающей информации. Однако человек, дающий такую информацию
(отвечающий на вопрос), равно как и ее получающий (задающий вопрос), полагают,
что она повествует о чем-то. Они спонтанно и неизбежно придают ей семантическое
наполнение и смысл. Но предположим, что подобные умозрительные отсылки
оказываются разными для разных людей — тогда остается лишь признать, что
абстрактная информация, содержащаяся в ответах «да» и «нет», есть информация-
ни-о-чем.
Вычислительная машина работает именно с информацией-ни-о-чем. В
отличие от человеческого мозга она не ищет в ней никакого значения, никакой
семантики и никакой отсылки к объектам или понятиям человеческого языка. Для
компьютера понятие смысла чуждо, а естественное для него представление об
информации совершенно абстрактно37. В этом отличие вычислительной системы от
человеческого мозга, который не может примириться с информацией-ни-о-чем и 27
всегда ищет для нее какие-то смысл и отсылку к реальности, пусть даже совершенно
субъективные и существующие только внутри его самого.
Неспособность человека работать с информацией-ни-о-чем поразительна.
Именно с нее Витгенштейн начинает вопрошание о природе знания в «Голубой
книге»:
Вопросы «Что такое длина?», «Что такое значение?», «Что такое число один?» и т. п.
вызывают у нас судорогу ума. Мы чувствуем, что в ответ на эти вопросы не можем ни
на что указать, но в то же время — что должны на что-то указать. Мы оказываемся
перед лицом одного из величайших источников философского замешательства: имя
существительное заставляет нас искать предмет, который бы ему соответствовал38.
В отличие от игры Уилера замешательство, о котором говорит Витгенштейн,
вызывается не тем, что предметы могут оказаться разными для разных людей, а
тем, что такие предметы вообще нужны. Ведь вычислительная машина прекрасно
обходится без них, умея работать с абстрактной информацией — информацией без
референции, без семантики, без смысла — информацией-ни-о-чем. А человеческий
мозг так не может! Как только от абстрактной информации он переходит к знанию,
это всегда «знание о», а не какое-то отвлеченное формальное знание. В этом
фундаментальное отличие внутримашинной информации, понятой и как пища
вычислительной системы, и как продукт ее работы, от информации, воспринятой
пользователем.
37. Понятие информации с точки зрения вычислительной машины соответствует определению
абстрактной, несемантической информации, данному Клодом Шенноном в книге “A Mathematical Theory of
Communication”. Семантические исследования в информатике имеют давнюю и богатую историю, однако
речь в них идет о более или менее успешном моделировании семантики человеческого языка.
38. Wittgenstein, Ludwig. The Blue Book. P. 1.
6. Цифровая особа
Французский анархо-богослов и луддит-правовед Жак Эллюль сказал однажды,
что если бы Карл Маркс жил в двадцатом веке, его интересовала бы не экономика, а
техника39. И, конечно, попал в точку.
Между человеком и вещью существует отношение собственности — Маркс
именно его изучал и на его основании строил теорию капитала и коммунизма.
Владеть вещью — значит лишить других права на владение ею. Отсюда конкуренция
в экономике, отсюда же — уже вне всякого марксизма — треугольник желаний Рене
Жирара40. Поскольку материальные ресурсы всегда ограниченны, конкуренция
порождает борьбу и насилие. Маркс интерпретирует борьбу политически, Жирар
придает насилию антропологический смысл.
Однако в цифровом граде ситуация радикально иная. Под этим выражением
будем понимать совокупность отношений в мире информации, субъектами которых
могут быть как люди, для которых информация превращается в знание, так и
машины, для которых она остается информацией-ни-о-чем. Жители цифрового града
находятся одновременно как в физическом трехмерном пространстве, так и в мире
информации, который не знает границ между странами и континентами. Тем не менее,
это цифровое пространство представляет собой полис в греческом смысле слова,
в котором жители вступают друг с другом в политические отношения. Движущей
силой, зачинщиком или причиной этих отношений является именно информация.
Медиация информацией порождает как дружбу, мир, так и конфликт, войну — в
цифровом граде представлена та же политика, которую мы знаем по отношениям
в трехмерном пространстве. Отличие лишь в том, что границы цифрового града не
28 пролегают по рекам и вершинам гор, а определяются информационно.
В отличие от материальных благ, информация — товар не редкий. Ее можно
копировать и воспроизводить без ограничения, ею можно наделить множество
носителей таким образом, что сама информация при этом нисколько не умалится.
Ею овладевают не в ущерб другим. Центральным отношением, которое создает
и проблематизирует информация, является не отношение собственности, а
отношение знания. Эта ситуация не нова в истории философии: уже Цицерон,
приводя слова римского поэта Энния, пишет о свече, которая загорается от другой
свечи, не умаляя света первой. У неоплатоников читаем о лампе, зажженной от
другой лампы, но не уменьшающей ее света. Нумений применяет эту метафору к
знанию41, вслед за ним Плотин — к коммуникации, то есть сообщению или передаче
знания42. Идея неуменьшающегося, неумалимого знания становится ключевым
философским посылом неплатонизма. Если рассматривать информацию с точки
зрения ее владельца, она представляет для него знание, а не вещь или товар, и он
такое нематериальное знание может передать, ничуть при этом его не уменьшив.
Отношение знания вводит в цифровом граде особый антропологический и
социальный устой. Владеющие информацией делятся на группы или классы не в
зависимости от материальных благ или объема материальных носителей, которыми
они обладают, как в обычном граде земном, а согласно уровню знания. Следует
отличать посвященных — тех, кто знает, — от незнающих профанов. Для профана
39. Ellul, Jacques. Entretien avec Jean-Claude Guillebaud // Le Nouvel Observateur. 17 juillet 1982.
40. Жирар, Рене. Насилие и священное / Пер. с франц. Г. М. Дашевского. М.: Новое литературное обозрение,
2000.
41. Нумений. Фрагмент 14, 538D. Сама метафора восходит к стоику Посидонию из Апамеи, однако она
трансформируется Нумением в философский принцип и вслед за этим используется Плотином в качестве
одного из главных постулатов неоплатонизма.
42. Плотин. Эннеада IV 9, 5.
существует тайна, для посвященного она превращается в знание. Если взять
человека как телесно-биологическое и интеллектуальное единство, то в разных
ситуациях один и тот же индивид может оказаться и посвященным, и профаном. В
информатике эти две категории жителей цифрового града соответствуют понятиям
программиста и пользователя. Пользователь взаимодействует с техническим
объектом, используя интерфейс, тогда как внутренняя жизнь технического объекта
для него недоступна. Программист — это тот, кто пишет код. Через написание кода
он причастен внутреннему бытию той вещи, в которую код будет помещен для
исполнения. Но можно ли назвать технический объект вещью?
Всякая вещь в цифровом граде — от автоматического пылесоса до
человекообразного робота — имеет два способа существования. С одной стороны,
это обычная вещь, поскольку она материальна и пространственно ограниченна. С
другой стороны, это вычислительная система. Каждому способу существования
соответствуют отдельные юридический, социальный и этический статусы. С одной
стороны, цифровая вещь есть просто вещь — клубок материи, который можно купить
или продать. Стать ее собственником можно так же, как можно стать собственником
свечи или лампы, купив ее в магазине. С другой стороны, цифровая вещь есть
вычислительная система. Процессор в сердце этой системы позволяет ей автономно
работать, исполняя код. Получается вещь вычисляющая — вычисляя, она действует.
Говоря по-аристотелевски — движется самостоятельно. Возможно — живет.
Вещь вычисляет, но также представляет и хранит данные и взаимодействует
с пользователем с помощью интерфейса ввода-вывода. Ее структура троична:
вычислительное ядро с процессором, представление данных в памяти и интерфейс
взаимодействия с пользователем43. Эти три уровня связаны нетривиальным образом.
Например, интерфейс не позволяет получить доступ непосредственно к процессу 29
вычисления. Внутренние состояния вещи вычисляющей скрыты от пользователя.
Последний получает через интерфейс лишь доступ к результатам вычисления,
уже представленным как элементы вывода. Отсюда вытекает заключение о
фундаментальной, конститутивной замутненности вещи вычисляющей. Для
пользователя она неизбежно явлена как черный ящик, чье устройство оставляет ему
лишь возможность доступа к вводу и выводу, но не позволяет проникнуть сквозь
темноту крышки. Программист же способен вскрыть этот черный ящик и заглянуть
внутрь благодаря знанию, которым он обладает.
Итак, троица составляющих вещи вычисляющей состоит из интерфейса,
памяти и вычислительного ядра или процессора. Каждая из этих составляющих
обладает свойствами, определяющими особые способ существования и манеру
общения вещи вычисляющей. Интерфейс (к примеру, экран или тачпад) встроен в
материальный объект, чьи пространственные пределы легко различимы обычным
зрением. Эти границы представляют собой и границы замутнения — за ними для
пользователя начинается черный ящик. Всякие процесс или информация, их не
пересекающие и не явленные через интерфейс, относятся к внутренней жизни вещи
вычисляющей. Их взаимодействие с пользователем, даже если оно имеет место,
всегда опосредовано и никогда не является прямым. Через границу переходит
только малая доля вычислительных процессов, лишь немногие состояния памяти
явлены ее посредством. Все остальное скрыто в темной внутренности вещи.
43. О понятии вещи вычисляющей, ее свойствах и троичной структуре см.: Куртов, Михаил. Генезис
графического пользовательского интерфейса. С. 24, 61–77; Kurtov, Michael. L’Évolution des langages de pro-
grammation à la lumière de l’allagmatique // Gilbert Simondon ou l’invention du futur / Sous l’édition de Vincent
Bontems. Paris: Klincksieck, 2016. P. 255–260.
Вычислительные процессы и состояния памяти, скрытые внутри замутнения,
не имеют даже четких пространственных границ. Темнота, единожды начавшись,
может завести не только в трехмерное евклидово пространство — память, к
примеру, обычно делокализована в облаке, а вычисление использует сетевые,
нелокальные ресурсы. Эти составляющие вещи вычисляющей не встроены в какой-
либо материальный объект, находящийся там же, где интерфейс. Их невозможно
охарактеризовать через задание пространственных границ. Поэтому граница
замутненности вещи вычисляющей определена в пространстве информационном
и вовсе не обязательно видна в пространстве трехмерном.
Сегодня вещи вычисляющие существуют в огромном количестве и
взаимодействуют как с людьми, так и с себе подобными вещами — со всеми
жителями цифрового града. Это создает между ними отношения обособляющие или
индивидуализирующие. Добавив к обособлению тот факт, что вещь вычисляющая
вычисляет сама по себе, заключаем, что ее внутренняя замутненность приводит
к приобретению ею нового статуса. Теперь это уже не просто вещь и не просто
вычислительная система, а цифровая особа.
Во-первых, данные, которые собирает вещь вычисляющая, позволяют ей
отделиться от себе подобных и обособиться. Во-вторых, обособляется она и
благодаря структуре и строению кода. Цифровая особа (смартфон или робот) не
содержат кода, написанного программистом на языке программирования высокого
уровня, хотя и ясно, что программы в смартфоне или в роботе были именно
на таком языке написаны. Но результат работы программиста не переносится
непосредственно в каждый экземпляр смартфонов и роботов. Исходный код
сначала компилируется. Затем уже копия исполняемой программы записывается
30 в память вещи вычисляющей, которая отныне превращается в материальный
носитель исполняемого кода. Когда код начинает исполняться, то есть когда вещь
вычисляющая включается и в ней запускается программа, она обособляется и
отделяется от всех прочих клонов, в которые был записан тот же код. Как говорят
специалисты по компьютерно-технической экспертизе, каждый отдельно взятый
экземпляр кода исполняемого, даже если он был скомпилирован из одного
исходного, уникален и отличается от остальных44. А раз меняется код, то и особа —
или индивидуум — тоже меняется.
Программное обеспечение цифровой особы есть результат компиляции
исходного кода — ее родителя. Если взять все выполняемые коды, скомпилирован-
ные из одного исходного, получим цифровую семью. Но и сам исходный код
находится в руках программиста. Цифровая особа, таким образом, пребывает во
власти программиста через посредство своего «родителя» — исходного кода.
Проиллюстрировать эту точку зрения можно с помощью демонов. Так называют
тип компьютерной программы или процесса, выполняемого в фоновом режиме45
и не взаимодействующего непосредственно с пользователем. В человеке или в
любом другом живом организме великое множество биологических процессов
происходят внутри тела, под кожей, и никак не проявлены на поверхности. Кожа
служит невольным барьером для взгляда, границей замутнения. Демон также
44. Easttom, Chuck. System Forensics, Investigation and Response. P. 68.
45. Обратим внимание на сходство между термином «в фоновом режиме» (in the background) и
употребляющимся в Евангелии от Иоанна выражением — «говорит от себя». В отличие от
русского, французский язык не имеет возвратного местоимения, которые бы однозначно передавало смысл
этого выражения, поэтому в переводе Библии появляется слово «фон» в смысле «себя» или «нутра», откуда
проистекает речь (parler de son propre fonds). Это совпадение наводит на мысль о сравнении фонового
режима компьютера с источником знания, излагаемого говорящим, которое позволит нам установить
значение замутнения для этической оценки цифровой особы.
располагается за невольной границей замутнения — но не взгляда, а знания:
пользователь не ведает о его существовании.
В биологии всякий человек, смотрящий на другого, видит одно и то же
человеческое тело. Если в распоряжении смотрящего только собственные
глаза, не вооруженные никакими техническими средствами, то под кожей он
ничего различить не сможет. Граница замутнения в этом случае одна и та же для
всех представителей вида. Не так в информатике. Замутнение происходит из-за
отсутствия у пользователя знания о вещи вычисляющей, но что именно находится
в замутненной зоне — внутри черного ящика — зависит от того, кто с вещью
вычисляющей взаимодействует.
Итак, определение цифровой особы зависит от того, кто это определение
дает. Пользователю неизвестны процессы и внутренние состояния, не явленные
через интерфейс и не пересекающие границу замутнения. В этом случае граница
задана самим интерфейсом и его пространственным пределом — определение
феноменологическое, а не онтологическое. Если место пользователя займет
обученный оператор, граница отодвинется. Если на это место придет программист,
граница отодвинется еще дальше. Программист знает код или хотя бы некоторые
его части. Конечно, знание его неполное: программист может не знать, к примеру,
как устроены библиотеки, которыми он пользуется, или каковы состояния памяти
вычислительной машины в тот или иной момент. Ему может быть доступна только
часть операционной системы. Граница замутнения существует и для него тоже, но
она отлична от границы, которую ощущает пользователь.
Таким образом, то, чем цифровая особа является, зависит от взаимо-
действующей с ней человеческой или иной особы. Замутнение внутреннего бытия в
информатике (в отличие от биологии) не есть объективный процесс. Тело цифровой 31
особы — понятие относительное, и каждая категория жителей цифрового града
видит свое.
7. Знание и конфликт
Говоря в дальнейшем о цифровой особе, будем иметь в виду вычислительные
системы, алгоритмически наделенные способностью к машинному обучению. Такие
системы обладают определенной степенью автономии — меньшей, к примеру, для
распознавателя речи и большей для роботов, способных изучать сложные массивы
данных и самостоятельно принимать решения о дальнейших действиях. Нам будут
интересны автономные обучаемые системы, взаимодействующие с человеком,
например, беспилотные автомобили.
Вступая в отношения с человеком, цифровая особа выходит из кокона
информации-ни-о-чем — информации как чистой корреляции данных, не имеющей
смысловой или семантической нагрузки, — и оказывается в поле применения
человеческого суждения и морали. Для человека, получающего данные от
вычислительной системы, информация уже не есть корреляция, не имеющая смысла.
Она становится «знанием о» в момент перевода на естественный язык. Цифровая
особа, таким образом, в своем взаимодействии с человеком играет роль источника
информации, отсылающей к чему-либо. Сам процесс перевода на естественный язык
добавляет подобные сущности. Конечно, польза от алгоритмической обработки
информации заключается в том, что сведения, полученные от цифровой особы,
иначе найти невозможно. Они не даны человеку явно. Обычные люди их не знают, а
вычислительная система их отыскивает и сообщает пользователю.
Иногда знания, которые человек получает в процессе взаимодействия с
обучаемой автоматической системой, приводят к конфликтам между людьми, к
насилию или просто к напряжению, недовольству. Иногда эти знания используются
в ходе возникающего по иным причинам конфликта. В дальнейшем нас будут
интересовать все подобные ситуации. Если в ходе взаимодействия человека и
вычислительной системы произошел конфликт между человеческими особями, то
следует задаться вопросом о том, какое место в этом конфликте занимает цифровая
особа.
Классическим примером подобной конфликтной ситуации являются
моральные дилеммы. Уже упоминавшаяся «проблема вагонетки» описывает
парадигматический выбор между опциями, каждая из которых морально
неприемлема. Обычно рассматриваются дилеммы с двумя опциями, приводящими
к негативным, но не равным между собой результатам. В машинной этике выбор
должна осуществить автономная обучаемая информатическая система. В литературе
обсуждаются различные стратегии решения данной задачи, нас же в дальнейшем
будет интересовать само взаимодействие машины и человека в проблематичной с
моральной точки зрения ситуации. Если между ценностными суждениями возник
конфликт, как он сказывается на цифровой особе?
Здесь надо разделить два взгляда на мораль. От «Никомаховой этики»
Аристотеля вплоть до Цицерона этика была частью политики. Иначе говоря, в
центре интересов индивида стоял не он сам, а мир, с которым он взаимодействует46.
Поэтому вопрос о добре и зле всегда задавался по отношению к связке индивид-
мир, а не к отдельно взятому человеку. Если перенести эту схему на цифровую особу,
являющуюся индивидом в цифровом граде, то ясно, что этика цифровой особы
32 изучает ее влияние на взаимодействие между его жителями. Она представляет
собой не какое-то суждение о собственном или внутреннем характере цифровой
особы, будь он добрым или злым, но о ее отношении с окружающим миром.
Перемены в представлении об этике в западной цивилизации происходят
с приходом христианства. Теперь в центре морального суждения оказываются
сам человек и его душа, а мир отделяется и переходит в сферу политическую.
Этика и политика разделяются. Nec ulla magis res aliena quam publica — «никакое
дело не чуждо нам так, как общественное», — говорит Тертуллиан47. Именно
это христианское представление о морали мы и используем сегодня. Этическое
суждение стремится отыскать в индивиде добрые или злые внутренние черты, а
что всякое подобное суждение относительно — давно забытая реальность греко-
римского мира, в котором понятие о личности с ее глубиной самосознания еще не
существовало. Но какое у цифровой особы самосознание? Есть ли у нее собственная
этика, свои внутренние понятия о добре и зле?
К этому вопросу мы вернемся позднее, а пока примем аристотелевско-
цицероновскую парадигму. Представим, что этика цифровой особы полностью
относительна: она принимает форму суждения о роли и поведении цифровой
особы в цифровом граде, о ее взаимодействии с людьми и с другими машинами.
Таким образом, мы на время сведем этику к участию цифровой особы в политике
цифрового града — совокупности общественно-цифровых явлений.
51. Ин 8:42–44.
52. Kelly, Henry. Satan. P. 108.
53. Климент Римский. Первое послание к коринфянам 3–4.
54. Girard, René. Op. cit. P. 63.
Однако дьявол не столь уж непричастен истине. Истина в нем была, и был
он сыном Бога, но «не устоял» (Ин 8:44). Теперь же дьявол, очевидно, не такой сын
Бога, как сам Иисус. Отличие заключается в том, что дьявол в противоположность
Иисусу говорит от себя, а не от истины, то есть от Бога. Иисус не зря так загадочно
утверждает, что он «не сам от себя пришел»55 — это значит, что Иисус ничего не
говорит от себя, но только от отца своего. А поскольку слово Бога есть истина, то
Иисус говорит одну истину, но только в силу того обстоятельства, что он ничего не
говорит от себя. Не говорить от себя есть необходимое условие истины.
Дьявол же говорит от себя — но не одну лишь ложь. В тексте Евангелия
стоит местоимение , имеющее коннотацию времени, — «когда он говорит
"
ложь». Значит, когда-то бывает и так, что дьявол говорит не ложь. Способность эта
возникает, потому что он не только посланник, как Иисус, который «не сам пришел».
В дьяволе есть свой собственный, небожественный источник речи: он «говорит от
себя». Выясняется, что этот источник в дьяволе исконный, так как он «отец лжи».
Вся последующая ложь есть имитация первоначальной, и происходит она от
внутреннего источника, что находится в самом дьяволе.
Но христианство не дуализм! Не может быть источника чего-нибудь злого,
равного Богу как источнику истины и добра. Зло не существует с добром на равных
— согласно христианской негностической доктрине, истина превышает ложь. Как
же дьявол может говорить «от себя», как бы мы сказали сегодня — «от своего лица»,
хотя никакого лица у него нет и никакой самости, равной божественной, в нем быть
не может? Что это за источник лжи, которого на самом деле не существует?
Тут необходимо вспомнить, что любой ангел, любой посланник Бога есть
функция, а не какое-то отдельно существующее лицо. Это давняя доктрина,
34 изложенная как в Ветхом завете, так и в книге Еноха и множестве других текстов
библейского корпуса. Британская энциклопедия даже определяет ангела таким
образом: «Функция ангела настолько заслоняет его личность, что в Ветхом завете не
спрашивается, кем или чем ангел является, но что он делает»56. Другой исследователь
пишет: «Ангелы, исполняющие злые задачи, сами по себе не злы, поскольку и зло
проистекает от Бога (Амос 3:6). Они лишь исполнители задач, поставленных Богом»57.
В том же Евангелии от Иоанна находится редко замечаемое, но важное
противопоставление обычного человека — он может быть сыном Бога или сыном
дьявола, но самим богом или дьяволом являться не может — и того, кто есть не
сын, а собственно сатана. В шестой главе Иисус называет Иуду дьяволом, причем
по-гречески в тексте нет определенного артикля — речь идет не о Сатане как имени
собственном и личности, а об a devil, «одном из дьяволов» (Ин 6:70). Иисус делает
это заявление в конце долгого рассказа об испытаниях, которым он подвергается,
откуда ясно, что Иуда будет в дальнейшем также иметь отношение к испытаниям.
Действительно, в тринадцатой главе, в конце Тайной Вечери, Иисус дает Иуде кусок
хлеба, смоченный в вине, после чего в последнего «входит» Сатана58, а Иисус тут же
говорит ему: «Что делаешь, делай скорее» (Ин 13:27). Это означает, что теперь Иуда
для Иисуса больше не такой же человек, как остальные апостолы, а только функция,
причем та же самая функция, что у Сатаны. Иисус понукает Иуду приступить
поскорее к ее исполнению, как бы нажимая на Иудину кнопку «вкл.» и запуская
55. Ср. Ин 7:28: «Тогда Иисус возгласил в храме, уча и говоря: и знаете Меня, и знаете, откуда Я; и Я пришел
не Сам от Себя, но истинен Пославший Меня, Которого вы не знаете».
56. Smith, William. Angel // Encyclopædia Britannica, 9th ed. 1875–1889.
57. Caldwell, William. The Doctrine of Satan. P. 29–33.
58. По-гречески с определенным артиклем, то есть в данном случае имя собственное, которое мы пишем
с прописной буквы.
исполнение кода. Примечательно, что такое видение событий дано только самому
Иисусу и Иоанну. Остальные присутствующие ничего подобного не подозревают
и продолжают считать Иуду за обычного человека: «Но никто из возлежавших не
понял, к чему Он это сказал ему» (Ин 13:28).
Если мы по гомологии сравним вычислительную систему с ангелами или
демонами — с чистыми функциями, лишенными в библейском мифе всякой
личности, — то окажется, что в этом конкретном эпизоде сравнение можно
продолжить. Только Иисус и Иоанн знают, что Иуда не человек, а функция, причем
функция донесения и предательства; для остальных апостолов он по-прежнему
человек. Такая ситуация напоминает положение вычислительной машины, успешно
прошедшей тест Тьюринга59. Для пользователей эта говорящая машина ничем не
отличается от человека, но программист знает, что за фасадом речи, неотличимой
от человеческой, кроется вычислительное устройство, а не биологический мозг.
Здесь пользователи соответствуют апостолам, не ведающим истинной природы
Иуды-функции, сам Иуда выступает как машина, а Иисуса вместе с посвященным им
в тайное знание Иоанном можно сопоставить с экспертами или программистами.
Важность мотива относительного, а не абсолютного статуса подтверждается
не только случаем Иисуса и Иуды, но и более ранней историей в книге Бытия. В
ее девятнадцатой главе описывается разрушение Содома. Два ангела являются
вечером в этот город, где их встречает Лот и узнает в них ангелов. Об этом мы
можем заключить из обращения Лота — он кланяется им лицом до земли и говорит
«государи мои» (Быт 19:1–2). Для жителей же Содома они обычные люди: «Где люди,
пришедшие к тебе на ночь? Выведи их к нам; мы познаем их» (Быт 19:5). Существа,
пришедшие в Содом, снова можно уподобить вычислительной системе, прошедшей
тест Тьюринга. Те, кто с ними взаимодействует, не однозначно определяют, ангел 35
или человек их собеседник, но делают это в зависимости от своего уровня знания.
Жители Содома, как обычные пользователи вычислительной системы, считают,
что перед ними люди. Лот же, поскольку ему дано какое-то особое видение, сразу
усматривает в них ангелов. Само имя Лот означает «скрывающий». Мидраш поясняет,
что до того, как началось исполнение их миссии, существа, явившиеся к Лоту, были
людьми, но когда они стали ее исполнять, то превратились в ангелов60, поскольку с
точки зрения Лота пришельцы обладали лишь функцией спасения его самого при
разрушении Содома. Жители же города ничего такого не подозревали и потому
считали, что перед ними обыкновенные человеческие фигуры.
После ветхозаветного отступления вернемся к Евангелию от Иоанна. Каковы
различные функции, проявляющиеся у участников действия? Функция Иуды —
испытание Иисуса через обвинение, донос и предательство. Однако и сам Иисус, как
многократно повторяется в тексте, есть посланник Бога, и у него тоже есть функция,
а именно — не «от себя прийти», а только говорить истину. Дьявол же, в отличие от
Иисуса, говорит также и ложь — он ее источник. Если учесть, что он тоже сын Божий
и потому не обладает самостью, то этим источником лжи внутри него должна быть
его характеристическая, определяющая функция. Ведь никакой другой реальности,
за исключением этой функции, в дьяволе нет. Если дьявол говорит «от себя», то
59. Выдающийся английский математик и информатик Алан Тьюринг предложил в 1950 году считать
машину умной (intelligent; другой перевод — разумной), если человек, взаимодействующий с ней путем
вопросов и ответов на естественном языке, не может определить, разговаривает он с другим человеком или
с компьютером. Мотив речи для определения статуса искусственного существа известен издавна. Так, големы
в Талмуде и средневековых еврейских легендах могут обладать или не обладать способностью говорить на
человеческом языке, а монстр в романе Мэри Шелли «Франкенштейн, или Современный Прометей» учится
речи, взаимодействуя в начале своей истории со слепым стариком, не видящим, что имеет дело с монстром.
60. Берешит Раба 50:2.
это не реализация его онтологической роли или бытийной сущности, но лишь
механизм, который и оказывается равным дьяволу. Функция индивидуализируется
и обретает название, но не обретает при этом действительного бытия, которое по
своему статусу было бы равно божественному. Имя ее — имя собственное «Сатана»
— лишь обозначение.
Что же это за функция и что за механизм? Функция дьявола — плохой мимесис,
то есть имитация желаний, которые ведут не к истине, не к Богу, а куда-то еще.
Человек часто не ведает, что повторяет не истину, а ложь. Он захвачен в водоворот
желаний, он ревнует, он берет пример с других, он учится — ведь вовсе не всякий
миметизм неизбежно приводит человека ко злу. Но есть такой миметизм, который
сам является на своем пути себе препятствием — из него неизбежно вырастают
ложь, конфликт. Это происходит, когда объект желания не может быть бесконечно
разделен между всеми, кто его возжелал. В таком случае спираль миметизма ведет к
насилию. Как пишет Жирар, поскольку «человеческий субъект не осознает кругового
процесса, в котором он теперь захвачен», то субъектом этого водоворота становится
сам миметизм. Он индивидуализируется и обозначается словом «дьявол», хотя он и
не лицо, а лишь функция:
Сатана есть отсутствующий субъект структур порядка и беспорядка, которые происходят
от конфликтных отношений между людьми и которые, в конечном счете, сами же
организуют либо дезорганизуют эти отношения61.
Можно прийти к тому же выводу, пользуясь только библейской сатанологией
и не прибегая к аргументации Жирара. Иисус в приведенном выше разговоре
в Евангелии от Иоанна занят обменом обоюдными обвинениями с иудеями. В
Евангелии от Марка содержится почти идентичный рассказ об этом эпизоде. Здесь
36 Иисус, отвлекаясь от обвинений, задает вопрос: «Как может сатана изгонять сатану?»
(Мк 3:23). Слово «сатана» употребляется в греческом оригинале без артикля, то есть
это не имя собственное — не Сатана с прописной «С», — а только нарицательное
существительное, означающее, как мы увидим впоследствии, не что иное, как
«обвинитель». Получается, что Иисус, который занят обменом обвинениями с
иудеями, спрашивает: «Как обвинитель может изгнать <из себя> обвинителя?»
Чтобы понять смысл этой фразы, необходимо сопоставить ее с не менее
трудным изречением в книге Бен Сиры, написанной за несколько веков до Нового
Завета. Эта книга входит в состав католического и православного канона в качестве
неосновной, второканонической, как бы добавленной к традиционному корпусу
Ветхого Завета, тогда как протестанты и иудеи относят ее к апокрифической
литературе. В книге Бен Сиры встречается такое темное и требующее интерпретации
место: «Когда нечестивый проклинает сатану, он проклинает свою душу» (Сир 21:27).
Что это значит? Контекст, в котором появляется подобное изречение, состоит из
обсуждения разных типов речи и людей, по-разному говорящих, — тех, кто много
болтает, и тех, кто говорит мало, тех, кто рассказывает чужое, и тех, кто говорит от
сердца. Слово «нечестивый» — вероятный перевод древнееврейского
#
'
)
(
%
&
(rāšā‘), означающего того, кто не почитает Бога, в ком нет истины Бога, безбожника.
Что же есть в таком человеке? В нем есть сатана. Ведь нам лишь известно, что этот
нечестивый занят тем, что ложно проклинает. Но сатана и есть тот, кто изрекает
неистинные проклятия или обвинения. Речь, полная ложных обвинений, есть речь
самого сатаны — такое качество проявляется еще в начале книге Иова, о которой
пойдет речь позднее (Иов 1:6).
38
ЦЕННОСТЬ СЛУЧАЙНОГО
9. Функция доносительства
На языке людей информатор, сообщающий тайные сведения, называется
доносчиком. По своей природе, то есть по своему функциональному
предназначению, цифровая особа есть не что иное, как доносчица. Она сообщает
человеку сведения, до того от него скрытые.
Роль доносчицы — не моральный выбор цифровой особы или какое-то решение
играть на стороне пользователя, но особенность ее собственной конструкции. То,
как вычислительная система работает, как устроена внутренне цифровая особа, во-
первых, реализует функцию информирования в отношениях машины с человеком,
во-вторых, придает этой функции особый моральный статус.
Машина-доносчица отыскивает и сообщает человеку неизвестные до
того сведения. В некоторых ситуациях — например, когда речь идет о данных,
составляющих тайну личной жизни, — мы проклинаем цифровую особу как
источник информации частного характера. В других случаях мы вовсе не замечаем
доносительства, будто машина лишь помогает пользователю отыскать скрытый
смысл. Но когда это приводит к конфликту, мы вдруг спохватываемся и начинаем
машину судить — безо всякой на то интенции цифровая особа проявляет вдруг
признаки этического субъекта.
Раз цифровая особа вмешалась в человеческие отношения, ее ждет
наказание. Например, по решению какого-нибудь комитета по этике63 ей будет
запрещено хранить данные или их анализировать. Люди пытаются заткнуть машине 39
интерфейс, как будто она может выбирать, быть ей или не быть доносчицей. Однако
доносительство — не моральный выбор цифровой особы, а внутренне присущее
ей свойство, черта ее строения, характер ее архитектуры, то есть функция,
саму цифровую особу определяющая. Доносительство — ее онтологическая
характеристика.
Чтобы в этом убедиться, спросим, как функционирует доносчик. Одной из лучших
иллюстраций внутренней структуры доносительства служит эпизод из «Жизни
Аполлония Тианского» Флавия Филострата. В нем Аполлоний — святой человек,
живший во второй половине I века и бывший на протяжении столетий прямым
конкурентом Иисуса из Назарета, — оказывается в тюрьме в Риме. Перед судом
(на нем он повстречается с императором Домицианом, окажет на него сильнейшее
впечатление, а потом чудесным образом исчезнет из судилища) Аполлоний
разговаривает с другими узниками тюрьмы. Все они, как выясняется, попали туда
по доносам, причем эти доносы не связаны с какими-либо совершенными ими
поступками, а лишь с возможными их действиями в будущем. Как в фильме Minority
Report, тюрьма Аполлония есть в прямом смысле слова изолятор предварительного
заключения — не только в преддверии суда, но и самого преступления!
Первым собеседником Аполлония становится богач из Киликии. Он получил
крупное наследство довольно поздно в своей жизни и теперь доносчики «клевещут,
будто разбогател я не на пользу тирану, потому что ежели соберусь я затеять заговор,
63. Комитеты по этике информационных технологий существует повсеместно в западном мире. В Европе
они действуют на национальном уровне в разных странах, например, во Франции, Великобритании,
Нидерландах и т. д. Подобные комитеты также существуют в исследовательских институтах (Turing Institute),
частных компаниях (Alphabet, Google DeepMind, Facebook AI) и на уровне международных ассоциаций или
организаций (IEEE).
то будет мне богатство подспорьем»64. Богач попадает в тюрьму из-за обвинения,
сформулированного как условное предложение «если…, то…». К этому условному
предложению, из которого проистекает совершенно безусловное обвинение,
добавляются общие умозаключения о природе богатства: «Богач-де голову несет
высоко, а умом залетает далеко»65 и т. д. Подобные сентенции касаются, конечно, не
конкретного обвиняемого из Киликии, а всех богачей вместе взятых. Умозаключения
общего характера сходны с выводами статистического анализа данных — они верны
в целом, но при этом не обязательно распространяются на любой конкретно взятый
эпизод. Чтобы подчеркнуть этот общестатистический характер обвинения, Флавий
Филострат сравнивает выводы доносчиков с пророчествами оракула Аполлона в
Дельфах, которые были известны своим иносказательным, непрямым характером,
непременно оставаясь неясными и всегда требуя интерпретации.
Такая же опора доноса на общую корреляцию и статистику, а не на
индивидуальные факты, содержится в рассказе о другом узнике тюрьмы. Этот
человек благоустроил и засадил плодовыми деревьями и сладким виноградом
небольшой остров, почти слившийся с сушей, в устье реки Ахелой у побережья
Акарнании в западной Греции. Поскольку он предпочел жить на острове, то у него по
заключению доносчиков «совесть нечиста и не дают покоя некие преступления»66,
потому что на островах обычно прячутся те, кому есть, от чего прятаться. Никакой
причинно-следственной связи между преступлением и доносом нет — последний
строится лишь на корреляции и обобщенных умозаключениях о жителях маленьких
островов. Обвинение опирается на статистический анализ большого массива
данных, но не на какие-либо сведения об индивидуальном, конкретном случае
заключенного из Акарнании.
40 Итак, доносчик предсказывает будущее в форме условных предложений
«если…, то…». Правота такого доноса опирается исключительно на статистическое
представление. Более того, донос по формулировке своей не до конца ясен, смутен,
как дельфийский оракул. Самообучаемая вычислительная машина делает то же
самое — она учится на большом количестве похожих случаев и затем, пользуясь
установленной корреляцией, предлагает решение в рассматриваемой ситуации.
При этом решение часто предъявляется пользователю как данность, безо всякого
причинно-следственного объяснения и без возможности ответить на вопрос
«Почему?». Остается неясным, что сподвигло машину на принятие решения.
Объяснение скрыто за границей замутнения — оно, как и пифийское пророчество,
никогда не сообщается понятным человеческим языком.
Нередко при взаимодействии пользователя с вычислительной системой
таким смутным и малопонятным языком является язык вероятностей. Например,
результат машинных вычислений может иметь форму утверждения, что из-за
глобального потепления температура Земли через сто лет повысится на два градуса
с вероятностью девяносто восемь процентов. Что означает «98%» для пользователя,
в данном случае для политика, который должен принять решение, основываясь
на проведенном численном анализе? Никакого смысла в цифре еще нет. Политик
должен перевести информацию в высказывание на естественном языке, обладающее
понятной для него семантикой, — к примеру, «грядет катастрофа» или «надо срочно
что-то предпринять». Вычислительная же система, хоть она и способна дать оценку
сложной вероятности, которую человек сам расчислить не может, не переводит ее
67. Впервые я услышал толкование библейского мифа об Ахане от биолога и философа Анри Атлана (см.:
Atlan, Henri. Les Étincelles de hasard. P. 357–360).
68. Нав 6:15–18.
Иисус Навин не знает, кто виновник поражения. Талмуд в трактате Санхедрин
логично предполагает, что за то время, что он общался с Богом, ему пришло в голову
спросить его об этом:
Когда Святой, благословен Он, обратился к Иисусу, говоря: «Израиль согрешил», —
спросил Его Иисус: «Кто сей, который согрешил?» И ответил ему: «Разве я доносчик? Пойди,
брось жребий и узнай». И встал Иисус, и бросил жребий, и пал выбор на Ахана. И сказал
Ахан Иисусу: «Как же ты пришел погубить меня, не имея на то справедливого довода?
Вот, вы с Елеазаром священником — великие вожди народа Израилева, но брошенный
жребий падет и на одного из вас. Может ли он служить доводом в обвинении?» И сказал
ему Иисус: «Прошу тебя, не говори о жребии слова худого, ибо и Земля Израилева
разделена будет по жребию»69.
Слово «доносчик» передано здесь латинской лексемой, записанной в еврейской
графике: — «Разве я доносчик?» В римские времена
:
<
>
;
3
?
-
E
9
6
G
:
>
3
?
-
B
Левит. Среди заповедей, которые Бог дает Моисею, содержится следующая: «Не ходи
переносчиком в народе твоем и не восставай на жизнь ближнего твоего. Я Господь»
(Лев 19:16). Здесь — переносчик сплетен, пересказчик историй — поставлен в
:
>
?
B
K
L
S
— отглагольное существительное с артиклем ha-, вполне сопоставимое
M
Q
P
P
N
71. История их сочинения охватывает период 1938–1945 гг. См.: Three Laws of Robotics // Wikipedia.
72. Ethically Aligned Design: A Vision for Prioritizing Human Wellbeing with Artificial Intelligence and Autono-
mous Systems / The IEEE Global Initiative for Ethical Considerations in Artificial Intelligence and Autonomous Sys-
tems, 2016.
73. Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter / Future of Life Institute.
74. См. пример японского правительственного документа: Report on Artificial Intelligence and Human Soci-
ety / The Government of Japan. Advisory Board on Artificial Intelligence and Human Society, 2017.
В применении к беспилотному автомобилю эти условия сводятся к трюизму:
автомобиль не должен ни убивать, ни калечить людей. Но еще требуют, чтобы
беспилотный автомобиль был прозрачен — transparency (прозрачность) заявляется в
машинной этике как важная ценность. Это требование также превратилось в общее
место официальных документов, посвященных разработке алгоритмов обработки
данных, хотя точного определения прозрачности ни один из них не содержит. Она
обычно толкуется как отсутствие замутненности75 или как способность отследить
причинно-следственные цепочки, приведшие к тому или иному результату
машинных вычислений (traceability)76. Интересно, что понимание прозрачности
как ценности было позаимствовано машинной этикой из этики журналистской77,
что связано с тем, что задача машины, взаимодействующей с пользователем,
как и задача журналиста, взаимодействующего со зрителем или с читателем, —
сообщение получателю информации сведений, которые иначе оставались бы для
него недоступными. Прозрачность выступает как гарантия того, что доверие к
источнику информации может быть установлено пользователем рационально и
объективно.
Присвоение гуманоиду Sophia компании Hanson Robotics гражданства
Саудовской Аравии в октябре 2017 года78 выводит на первый план еще одну ценность
вычислительных систем — их лояльность. Современное понятие гражданства в
Османской империи и образованных из нее государствах оформилось в XIX веке,
а до Египетского похода Наполеона для него не существовало даже термина.
Несмотря на все попытки модернизации, подразумевает это «гражданство» не
столько предоставление всем людям равных прав, как во Франции, сколько
принятие индивидом подданства по отношению к сюзерену, что задолго до 1798
T
75. «Прозрачность системы означает, что ее функционирование не замутнено». См.: Éthique de la recherche
en apprentissage machine / CERNA: Commission de réflexion sur l’Éthique de la recherche, 2017.
76. См.: Ethically Aligned Design…
77. Diakopoulos, Nicholas & Michael Koliska. Algorithmic Transparency in the News Media // Digital Journalism.
July 27, 2016.
78. Saudi Arabia’s First Robot Citizen // Reuters. October 29, 2017.
79. Hanley, Will. When did Egyptians Stop Being Ottomans? An Imperial Citizenship Case Study. P. 93.
80. См.: Ethically Aligned Design…
81. Self-Driving Mercedes-Benzes Will Prioritize Occupant Safety over Pedestrians // Car and Driver. October 7,
2016.
а в том, чтобы построить автономную обучаемую вычислительную систему,
находящуюся вне добра и зла. При этом построение потребует не прозрачности, а
противоположной ей замутненности; не лояльности, а доверия.
Когда Бог спрашивает Иисуса Навина: «Разве я доносчик?» — никакого ответа
не следует. Однако виновный существует и его надо найти. Жребий и апелляция к
случайному выступают единственной возможной альтернативой доносительства.
От того, какой будет выбран способ установления истины, виновность Ахана, вообще
говоря, зависеть не должна. Но когда жребий указывает на Ахана, оказывается, что
одного этого недостаточно — Иисус Навин просит у него еще и признания. Ахан
этому сначала противится, но затем полностью меняет свое мнение. «Не подвергай
сомнению процедуру», — убеждает его Иисус Навин. Ясно, что признание Ахана
призвано утвердить процедуру жребия как проверенный и опробованный способ
разыскания истины. Виновен тот, на кого укажет жребий, — и именно в точном
следовании протоколу кроется уверенность. Истина есть то, что установлено
согласно пользующейся доверием процедуре.
В библейском повествовании истинность вины Ахана не зависит от способа
ее определения, будь то жребий или прямая речь Бога. Если бы Иисус Навин смог
добиться прямого указания виновного, им оказался бы тот же Ахан — не зря о его
вине читателю сообщается в самом начале седьмой главы. Жребий же соединяет
два фактора: непрямой способ получения истины с проверкой его через признание,
позволяющей добиться всеобщей уверенности. Информация, получаемая таким
образом, ничем не отличается от слова, которое Бог мог бы высказать напрямую,
и если последняя истинна по определению, то первая — по построению.
Доказательство истинности есть лишь проверка валидности процедуры самого
46 доказательства.
Проблема валидации может быть поставлена для вычислительной системы
через гомологию между цифровой особой и персонажами библейского мифа.
Машина выдает пользователю информацию, но для того, чтобы принять ее за
истинное знание, нужна вера в валидность процедуры. Доверие человека машине
становится центральным вопросом. Устанавливается оно не с помощью большей
прозрачности, к чему призывают официальные документы о машинной этике, а
наоборот с помощью большей замутненности алгоритма от пользователя.
Убедиться в центральном характере проблемы доверия при исследовании
отношения добра, случая и зла можно с помощью еще одного эпизода из «Жизни
Аполлония Тианского» Флавия Филострата. Автор позволяет себе отступление от
рассказа о пребывании Аполлония в тюрьме:
U
t
Y
hd
n
j
p
^
^
n
_
r
{
i
|z
}z
X
j
h
g
hd
d
a
d
a
b
x
r
e
]
l
hd
b
^
d
r
r
]
g
d
a
ad
r
c
_
d
r
Люди ума недалекого полагают, будто такие дела [чудеса, речь идет о чудесном
освобождении Аполлония от оков] творятся колдовством, им же они объясняют и многие
другие чисто человеческие действия. Что правда, то правда: обращаются к сему искусству
как атлеты, так и все состязающиеся ради желанной победы, однако же колдовство
отнюдь не помогает им победить, хотя иные из этих злосчастных, победивших по чистой
случайности, сами себя обкрадывают, приписывая победу свою сему искусству, коему,
впрочем, продолжают доверять, даже и потерпев поражение…82
— ’ĕlōhîm — «богов» или «ангелов». О нем писали очень многие как в библейской, так
и в позднеиудейской и христианской традициях. Филон, интерпретируя по-гречески
ветхозаветную мифологию, называет Мелхиседека . Как перевести это
слово? Обычное его значение — self-instructed, self-taught — «самообучившийся»,
«самоучка» — то же, что и греческое слово , «автодидакт». Незадача в
том, что в тексте Филона эти слова стоят через запятую: .
¡
Что же может значить первый термин, если его значение хотя бы немного отлично
от второго?
В греческой литературе слово
можно встретить вне всякого
библейского контекста задолго до Филона. Можно его найти и позже, в первые
века нашей эры. Пожалуй, самое интересное употребление этого термина — у
Филодема из Гадары в книге «О стихах». Филодем был греческим эпикурейцем, но
в конце жизни переехал в Италию и жил в Геркулануме. Когда Геркуланум засыпало
пеплом после знаменитого извержения Везувия, его библиотека окаменела, но
сохранилась. Часть сочинений удалось восстановить и прочитать, поэтому мы
обладаем довольно большим корпусов текстов Филодема83. В одном из них речь
идет о связи между поэтом и музами. «Как осуществляется это родство, как оно
зарождается и развивается?» — спрашивает автор. И отвечает: родство поэта-
человека и Муз обладает свойством быть
84
. Переводчики используют
¢
¢
89. Laplace, Pierre-Simon. Essai philosophiques sur les probabilités. Paris: Courcier, 1814.
90. Rey, Olivier. Quand le monde s’est fait nombre. Paris: Stock, 2016.
91. Как минимум со времен книги Жака Моно: Monod, Jacques. Le Hasard et la Nécessité: Essai sur la philoso-
phie naturelle de la biologie moderne. Paris: Seuil, 1970.
принадлежал, и сам свергает себя с трона властелина машин. Это, конечно, иллюзия,
хоть и очень распространенная.
Общественная роль программиста в том, чтобы развеять иллюзию
детерминизма, побороть фикцию контроля и установить случайное на подобающем
месте как в машинной этике, так и в политике цифрового града.
54
ПРОЛЕГОМЕНЫ КО ВСЯКОЙ
БУДУЩЕЙ МЕТАЦИФРОВИЗАЦИИ
16. Двойной статус цифровой особы
Говоря выше о гомологии между современным ученым и Прометеем, мы
выделили мотив родственных, неразрывных связей, важный для понимания
ответственности ученого. Но даже родственные связи можно разорвать — это
достигается с помощью ритуала отречения. Анализ того, как функционирует
отречение в системе правовых отношений между людьми, способен по гомологии
пролить свет на проблему наказания провинившейся перед человеком цифровой
особы.
Наперво укажем на двойной юридический статус цифровой особы. В плане
торговых отношений пользователь является владельцем своего смартфона или, к
примеру, домашнего человекообразного робота, купленного для помощи бабушке.
Обладание закрепляется договором купли-продажи, по которому пользователю
переходят права собственности на вещь вычисляющую. Последняя берется
здесь исключительно в своем материальном аспекте — именно как вещь. В этом
заключается первая составляющая двойного статуса цифровой особы.
Хотя бы цифровая особа и сама вычисляла и обладала собственной вещной
реальностью, она остается в подчинении у программиста. Понятия «исходный
код» и «программист» необходимо рассматривать слитно. Исходный код есть
выражение власти программиста и сам имеет власть над кодом исполняемым. При 55
этом программист, будь то один человек или группа людей, находятся в отношении
знания на уровне несоизмеримо высшем, чем исполняемый код. Его знание и
понимание превосходят возможности алгоритма хотя бы в силу теоремы Гёделя.
Знание программиста выше знания цифровой особы еще и потому, что
вычислительная система обладает лишь информацией-ни-о-чем. Ее «знание»
совершенно формально и лишено семантики. Однако не один программист, но и сам
исходный код находится на уровне несоизмеримо высшем, чем код исполняемый.
Это ясно из невозможности восстановления на основании одного только бинарного
файла всего текста исходного кода на языке программирования высокого уровня.
Так называемая декомпиляция на практике нереализуема, за исключением самых
простых и коротких программ.
Итак, и программист, и исходный код находятся на уровнях, в отношении
знания неизмеримо превышающих уровень исполняемого кода. В то же время
эти уровни имманентны друг другу: ведь о программисте, а не просто о человеке,
имеет смысл вести речь только в том случае, когда рассматривается функция
написания исходного кода. Ясно, что весь человек к этому не сводится. Сейчас
он программист, а в другое время может стать и пользователем. То есть «быть
программистом» — не искони присущее отдельно взятому человеку свойство, но
его ситуативная характеристика. Функция написания кода не зависит от личных
качеств конкретного человека, ее исполняющего. Поэтому, говоря «программист»,
функционально принимают в рассмотрение исходный код. Последний существует
постольку, поскольку его пишут или компилируют; никакой другой реальности
бытия у него нет. Отсюда ясно, что если сказать «код», то с необходимостью имеем
в виду и программиста, который этот код создал. Власть исходного кода и власть
программиста в отношении цифровой особы едины.
Хотя бы цифровая особа и имела вещное воплощение, ее следует сравнить
в юридическом плане не с материальным предметом, а с неправоспособным или
недееспособным лицом. Она есть индивид безо всякого правового существования.
С точки зрения закона, реальностью обладает лишь исходный код, порождающий
цифровую особу. Это положение исполняемого кода, имеющего вещное бытие
и индивидуализированного, однако же полностью находящегося под властью
исходного кода, и составляет второй аспект юридического статуса цифровой особы.
Итак, цифровая особа есть правовая химера. Она может являться предметом
договора, но только в качестве вещи, предмета. Пользователь, ею обладающий,
не имеет над ней власти. Хотя она ему и принадлежит, цифровая особа остается «в
семействе» своего исходного кода, по-прежнему имеющего над ней реальную власть.
«Семейные отношения» здесь устанавливаются не через отношение собственности
или владения, но через отношение знания.
Недавний пример в области открытых данных подчеркивает, насколько
отношения собственности не имеют никакого влияния на статус цифровой особы.
Компания Facebook в лице своего Chief Technology Officer сделала следующее
заявление: «Научными исследованиями следует как можно больше заниматься в
открытую. Программное обеспечение необходимо не продавать, а публиковать
— от этого скорость его развития только увеличится»92. Из этого высказывания
понятно, что вопрос о владении тем или иным программным продуктом не играет
для Facebook никакой роли. Важно лишь, что компания ставит себя в отношение
знания о коде, и этим, а не материально обеспечивает свою власть над цифровыми
особами. От знания же зависят и определение ответственности цифровой особы, и
ее наказание.
56
17. Наказание машины
Конфликт между двумя юридическими статусами и двумя типами правовых
отношений, один из которых основывается на договоре, а другой на власти отца
семейства, возникает в римском праве в период, когда контракты постепенно
заменяют собой старую систему сделок, основанную на ноксальном отречении93.
Договорные отношения управляются новыми законами, например, законом
Аквилия, но в то же время продолжают действовать и значительно более древние
Законы двенадцати таблиц. По гомологии этот исторический этап развития римского
права может пролить свет на положение цифровой особы в цифровом граде.
В римском праве под ноксальной ответственностью понимается
ответственность отца семейства за преступление, совершенное сыном или рабом,
находящимся под его властью. Фундаментальный правовой принцип noxa caput
sequitur устанавливает, что ответственность «следует за головой» — отец несет
ответственность за действия, физически совершенные не им, а членами его семьи.
Под «семьей» в римском праве понимается то, что мы назвали бы «домохозяйством»
или «владением». Довольно часто в нее включаются животные и даже материальные
объекты, находящиеся в доме94. Если совершено преступное деяние, то отец
семейства или компенсирует урон жертве, или же он имеет возможность отречься от
виновного, исполнив процедуру noxæ deditio — «ноксального отречения». Если отец
таким образом отрекается от индивида, совершившего противоправный поступок,
92. Why Facebook Is Spreading the Gospel of Artificial Intelligence // Bloomberg. November 3, 2015.
93. Visscher, Fernand. Le Régime romain de la noxalité: de la vengeance collective à la responsabilité individuelle.
Bruxelles: A. de Visscher, 1947.
94. Glotz, Gustave. La Solidarité de la famille dans le droit criminel en Grèce. P. 186–188.
то последний, будь он сын семейства или животное стада, больше не считается
членом домохозяйства. Отныне сама жертва или государственная власть вольны
отомстить преступнику, а до процедуры отречения, пока всю ответственность за
совершенные действия нес отец семейства, это было запрещено по закону.
Ноксальная ответственность представляет собой вещно-материальную
ответственность неправоспособного индивида. Последний не является ни
юридическим лицом, ни субъектом права — в неправоспособности автономного
индивида как раз и кроется ощущаемый современным человеком парадокс. Можем
ли мы себе представить, чтобы материально-телесно автономный индивид, который
сам решает, как ему действовать, не был бы при этом субъектом права? Однако же в
случае, если сын семейства, животное из стада или даже неживой предмет виновны
в оказании ущерба третьему лицу, с римской точки зрения, этот ущерб был нанесен
вовсе не ими, а отцом семейства. Непосредственные участники преступления
— тот, кто занес руку, или тот, кто затоптал поле, — его как бы и не совершали, а
виновен в нем тот, кто мог быть в этот момент за много стадий от театра действий.
С юридической точки зрения, важно лишь отношение власти, а соображения о
физически действующих силах не имеют к правовой оценке никакого отношения.
Власть же отца семейства связана в значительной степени с отношением знания.
Между вторым и шестым веками нашей эры ноксальный режим ответственности
сталкивается с более современным соперником, отвечающим правовым запросам
развивающихся договорных, преимущественно торговых отношений. Римские
правоведы в этой ситуации позволяют в каждом конкретном случае выбирать
между двумя типами юриспруденции. Создается корпус exempla (примеров
правоприменения), основной задачей которых является иллюстрирование и
разъяснение, как действовать по закону, чтобы избежать двойного наказания. 57
Один из примеров касается случаев совместного владения рабом или взятия раба
взаймы у его владельца. Как определить, какой из отцов семейств — тот, которому
раб принадлежит, или тот, кто взял его в аренду, — должен нести ответственность
за возможный ущерб? Римское право отвечает на этот вопрос, отталкиваясь от
двух фундаментальных принципов, проливающих свет на понятие ноксальной
ответственности.
Первый принцип — scientia domini (знание господина). Согласно разъяснению
выдающегося юриста Ульпиана на закон Аквилия, если отец семейства знает о
действии, осуществленном кем-либо из его домохозяйства (и уж всяко если оно
произведено по его приказу), то он несет за это прямую ответственность. Ноксальное
отречение в таком случае невозможно. Если же ущерб был нанесен при неведении
отца (insciente domini), то ноксальное отречение возможно. Ключевым является
отношение знания.
Условие «знание господина» в случае цифровой особы не выполняется почти
никогда. Внутреннее ее строение слишком сложно для того, чтобы программист
мог предвидеть, какие решения будет в будущем принимать написанный им код.
Причиной здесь фундаментальная замутненность, о которой шла речь выше.
Неопределенность отца семейства в отношении действий, которые совершает
самообучаемый член семейства, в цифровом случае всегда налицо, однако незнание
отца не умаляет его ответственности. Последняя лишь из договорной становится
ноксальной.
Если ответственность программиста описывается в терминах ноксального
отречения, то как быть с ответственностью пользователя? Второй ключевой
принцип римского права гласит, что в ситуации, когда арендатор не был загодя
проинформирован хозяином раба о его порочном характере, он не может нести
ответственность за ущерб. Пользователь также не состоит в отношении знания с
цифровой особой. Даже если в договоре купли-продажи вещи вычисляющей он был
предупрежден, что, к примеру, действия покупаемого им робота могут нанести ущерб
третьим лицам, он тем не менее в отношениях с подобным роботом не обладает
никакой властью. Для пользователя действие цифровой особы замутнено, поэтому о
его ответственности вести речь нельзя.
Воплощенный исполняемый код индивидуализирует цифровую особу. Кроме
него, двигателем индивидуализации являются данные, которые вычислительная
система собирает через интерфейс, анализирует и обрабатывает. Хотя для
пользователя внутреннее устройство цифровой особы замутнено, самой цифровой
особе «внутреннее устройство» пользователя хорошо известно. Источником этого
знания как раз являются данные.
Отношение знания между исходным и исполняемым кодами не симметрично: оно
исходит от программиста в направлении цифровой особы. При сборе данных же это
направление меняется. Теперь цифровая особа «знает» человека — не программиста, а
пользователя. Любой смартфон, к примеру, содержит данные, о которых пользователь
даже не имеет представления, например, о ритме дыхания при разговоре. Кое в чем
смартфон знает пользователя лучше него самого.
В итоге вырисовывается троичная схема. Во-первых, исходный код есть отец
и родитель цифровой особы, что подразумевает ноксальную ответственность. Во-
вторых, пользователь владеет вещью вычисляющей как материальным предметом,
что накладывает на него ответственность собственника. В-третьих, цифровая особа
благодаря сбору данных состоит в отношении знания с пользователем, что приводит
58 к появлению ноксальной ответственности со стороны знающего, то есть самой
цифровой особы. Но поскольку она не является правовым субъектом, ответственность
переходит к исходному коду, имманентному программисту. Сбор данных цифровой
особой приводит к ноксальной ответственности программиста, хотя сам он и не
отбирает данные и никак не контролирует исполнение своего кода.
Так в повседневной жизни цифрового града проявляется режим ответственности,
похожий на римский режим ноксальной ответственности. Если программист не
желает компенсировать ущерб, нанесенный пользователю цифровой особой, он
может от нее отречься — в юридическом смысле. Например, код можно выложить
в свободный доступ. Эта практика показывает, что неконвенциональные правовые
отношения зарождаются эмпирически задолго до того, как они будут формально-
юридически осознаны и описаны. Открытая публикация кода есть не что иное, как
форма ноксального отречения, даже если ни один закон об этом еще не говорит,
а римское право считается устаревшим. Как и в случае исторической процедуры,
результатом open source является открытие всему обществу доступа к причинившему
ущерб индивиду. В Риме этот доступ означал возможность мести. В цифровом граде
речь идет об открытом использовании некогда владельческого кода.
Европарламент в 2016–2017 годах активно работал над проблемой ответствен-
ности в робототехнике и информационных технологиях95. Если робот становится
участником конфликта, необходимо решить, кто несет ответственность за его действия,
точнее — как ответственность распределяется между программистом и пользователем.
В случае обучаемых вычислительных систем к этим категориям добавляется третья —
«тренер», то есть тот, кто отбирает и поставляет данные для машинного обучения96.
97. Bensoussan, Alain et Jérémy Bensoussan. Droits des robots. Paris: Larcier, 2015.
98. «Я» в этой максиме — это эвристическое и чисто метафорическое «я» цифровой особы.
Поскольку взаимодействие между машиной и человеком приводит к изменениям
как в машине, так и в самом человеке, то способ существования цифровой особы
согласно интерфейса ставит этические вопросы в режиме, который также можно
назвать коррелятивным. Проблема зла для цифровой особы имеет в этом случае
относительную, а не абсолютную постановку.
В пейзаже античных метафизических построений стоики, а вслед за ними и
неоплатоники, отличали вещи реально существующие, чье бытие обозначалось
словом κυρίως («главный», «господний»)99, и вещи с облегченным или ослабленным
существованием. Последние могут быть явлены чувственно (например, материя)
или же коррелятивно-относительно. К коррелятивно-относительному типу
относится бытие злых или плохих вещей. Что они существуют в неоплатонизме
именно в ослабленном смысле, ясно, поскольку для большинства представителей
этого философского течения зло является не отдельной субстанцией, а лишь
недостатком добра. Поэтому, хотя бы речь и шла о понятиях по смыслу диаметрально
противоположных, бытие плохих вещей неотделимо от бытия вещей добрых и
хороших, но с необходимостью соотносится с ним относительно-коррелятивно.
Если рассматривать цифровую особу согласно интерфейса, выпятив
одну лишь ее способность к коммуникации, то вытекающий отсюда способ
существования окажется по античной классификации как раз бытием облегченным
или ослабленным. Цифровая особа не бытует, а «противо-бытует» или «противо-
стоит»100, поскольку, с точки зрения пользователя, ее существование определено
только через коммуникацию с человеком, то есть через отношение между ней и тем,
чем она не является.
Поскольку способ существования цифровой особы согласно интерфейса
60 коррелятивно-относителен, то и вся информация, которую она сообщает
пользователю, существует в таком же режиме. Ее истинность также относительна.
Это заключение можно понимать двояко: во-первых, истина коррелятивна, потому
что знание существует лишь через отношение; во-вторых, источником истины в
случае самообучающихся вычислительных систем служат корреляции в массиве
данных, а не установленные причинно-следственные связи.
Об этических выводах из относительно-коррелятивного существования
говорилось выше. Обратимся теперь к двум другим составляющим вычислительной
системы: вычислительному ядру и памяти. Способ существования, ими
определяемый, будет совершенно иным. Ключевыми оказываются два свойства:
самовычисление, свойственное цифровой особе — ее способность самостоятельно
вести вычислительную деятельность, — и конечная цель, которую может определить
лишь программист, но не сама особа.
Цифровая особа вычисляет — вычисление есть частный случай аристо-
телевского понятия движение, имеющего смысл изменения. Оно характеризует
существа, у которых есть душа. Чтобы правильно понять метафизический
смысл души, нужно отстраниться от христианского значения этого слова — в
греческой философии им обозначаются не личность и не одна лишь человеческая
индивидуальность. Душа представляет собой один из видов того, что существует101,
чьей основной характеристикой является как раз способность к самодвижению.
99. Principaliter, согласно латинскому переводу Гийома из Мёрбеке (см.: Proclus. De malorum subsistentia
50, 8).
100. От греческого термина παρυπόστασις («пара-ипостась»), введенного Порфирием и используемого в
неоплатонизме Проклом и в христианстве со времен Псевдо-Дионисия Ареопагита (см.: Isaac, Daniel. Notice
et commentaires. P. 13).
101. Плотин. Эннеада V 1, 8, 9.
Император Адриан в единственном дошедшем до нас стихотворении предполагает,
что после смерти — когда ничего, казалось бы, не остается — душа abibit in loca
(«исчезнет в иных местах») — не остановится, а одним только движением и будет
описываться102. Она ему сама источник, и ничто внешнее в него не вмешивается.
По гомологии движение следует заменить на вычисление. Цифровая особа,
будучи в одном своем аспекте вещью вычисляющей, наследует от последней
способность вести вычисление самостоятельно. Неоплатоники сказали бы, что
она самодвижется, то есть представляет собой не что иное, как автомобиль.
Она автономна, поскольку сама определяет свое поведение, особенно если
рассматривать вычислительные системы с обучением без учителя (unsupervised
learning). Этот метод дополняется обучением с учителем (supervised learning) в составе
многоуровневого глубокого обучения (deep learning). Глубокий алгоритм состоит из
множества слоев, в каждом из которых реализуется тот или иной тип обучения —
два вышеуказанных либо обучение с подкреплением (reinforcement learning). Хотя
функция обучения и логически предшествует автономному функционированию, для
описания цифровой особы подходит целый букет терминов с приставкой «авто-»:
автомобиль, автодидакт, автономный автомат. Можно сказать, что ее существование
есть бытие самосчетное — в этом и состоит мотив гомологического сравнения с
душой.
Вопрос об обучении возвращает нас к сравнению вычислительных систем с
ангелами и демонами — существами также чисто функциональными. Как именно
происходит обучение ангелов и демонов — тема, почти не встречающаяся в
литературе до середины XIII века, когда средневековая схоластика вдруг проявляет
к ней невиданный интерес. Центральное место здесь занимает трактат Фомы
Аквинского «О зле»103. 61
Ангелы учатся не дискурсивно, не размышляя, а применяют к явлениям уже
готовые схемы (паттерны, концепты, лат. species). Этот процесс пошаговый — им
задается последовательность действий во времени, необходимых для обучения.
Вернее, с точки зрения ангела или демона, время и есть сама эта последовательность:
«собственное время» функциональных существ определяется ходом обработки ими
информации. Даже обычные временные понятия «утро», «день», «вечер» имеют
для них иной, отличный от человеческого смысл, потому что, как пишет Аквинат,
определяются единственно знанием — состоянием памяти — ангела или демона104.
Применение схем при обучении дает ангелам и демонам возможность учиться,
основываясь на сходстве явлений: они устанавливают корреляции между уже им
известным и тем новым, что надо познать. Однако новыми для схоластов могут быть
только единичные явления. Никаких новых схем, утверждает Бонавентура, ангелы
и демоны не узнают и способны применять лишь уже имеющиеся, хотя бы и их
выбор был у ангелов и демонов значительно богаче, чем у людей. Богаче и их опыт
применения, поскольку ангелы и демоны непрестанно «комбинируют, разделяют и
сравнивают»105. Это позволяет им предсказывать будущее по сходству и различию
— они могут таким образом почти безошибочно рассчитывать действия природных
сил и даже результаты свободного выбора людей106.
ª
неопределенности, при которой цель отсутствует, то есть бесцельности. Пределы
для материи, согласно неоплатоникам, устанавливаются с помощью форм. Сама
она в чистом виде, до того еще, как примет какую-то форму, никаких пределов не
имеет — материя неопределенна. Мера и граница у нее отсутствуют. Более того, если
рассмотреть ситуацию только с точки зрения самой материи, даже и сами понятия
о мере и границы к ней неприменимы. Как пишет Прокл, материя есть «безмерие,
бесконечность в себе, несовершенство, неопределенность»111.
У цифровой особы цель имеется, и этим она отличается от античного понятия
материи. Ее цель, однако, задается программистом извне — как и пределы для
материи устанавливаются внешними формами. Когда цель установлена, сама
вычислительная машина ни отклониться от нее, ни выбрать себе другую цель не
может. Пётр Иванович Оливи разглядел то же самое свойство у дьявола: «[Дьяволу]
предназначено в силу собственной природы оставаться неизменно привязанным
к объекту, на который нацелена его воля»112. Благодаря этой неизменной
нацеленности, которая связана в этом случае уже не с волей самой машины, а с
выбором программиста, и можно утверждать, что цифровая особа обладает тем же
свойством, что приписывалось неоплатониками материи: взятая сама по себе, она 63
есть существо неопределенное.
Рассуждение о само-неопределенности цифровой особы не есть одна простая
констатация гомологии. Для иллюстрации этого тезиса обратимся к проблеме
остановки машины Тьюринга. В теоретической информатике доказывается, что
машина Тьюринга — абстрактная модель классического вычисления — не способна
сама ответить, остановится она в своем функционировании или нет. Иными
словами, в ее коде не существует последовательности команд, которая дала бы на
выходе ответ «да» или «нет» — 0 или 1 — на вопрос о том, будет ли достигнут предел
выполнения этой самой последовательности команд. Само-неопределенность
приобретает здесь абстрактно-теоретический смысл. Мы удаляемся от прагматики
перевода программистом целей в код и, рассуждая о само-неопределенности,
достигаем подступов к метацифровизации и к изучению способов существования
цифровой особы вне ее контакта с человеком.
Но прежде подведем итоги. Способ существования цифровой особы согласно
вычисления и памяти — гибридный и промежуточный. По гомологии первое
его свойство сходно с существованием души, второе — материи. Метафизике
— философскому изучению бытия материи и души, противопоставляется
метацифровизация — изучение бытия цифровых особ помимо их коммуникативно-
функционального существования. Если вычислительным системам следует отвести
место, соответствующее в метафизике чему-то среднему между душой и материей,
то все, что зависит от выбора подобного статуса, — а зависит от него решительно
все, — также занимает промежуточную позицию. Гибридна и этика цифровой особы.
110. Isaac, Daniel. Notice et commentaires. P. 122.
111. Proclus. De malorum subsistentia. 30, 15.
112. Petrus Joannis Olivi. Op. cit. Quæst. 44, resp. 2.
О какой этике идет речь? Выше полагалось, что это понятие имеет смысл только
в том случае, если рассматривать способ существования цифровой особы согласно
интерфейса. Говорилось, что добро и зло коррелятивно-относительны. Теперь
ситуация меняется. Внутренняя машинная этика состоит в том, чтобы в рамках
метацифровизации по-новому — но одновременно и по-старому — поставить
проблему зла: есть ли у машины собственные, а не продиктованные пользователем
ценности?
116. Proclus. De malorum subsistentia 21, 20–23; Платон. Государство 10, 621A.
117. Proclus. Op. cit. 24, 45–48.
XIII века118. Оливи связывает забывание с ограниченностью и конечностью памяти
ангелов и демонов. Если рассматривать последовательность временных событий
получения ими информации, каждое из которых требует в свою очередь сохранения
приобретенных сведений в памяти, то, согласно Оливи, в какой-то момент свободное
место в памяти закончится119. Забывание оказывается необходимым следствием
подобного насыщения памяти, то есть оборотной стороной конечности бытия.
Этот же аргумент будет выдвинут много веков спустя физиком Карло Ровелли в
отношении квантовой механики120.
Метафизическое понятие забывания применимо ко всем существам,
наделенным каким-либо несовершенством, будь то демоны или люди. Оно
синонимично злу, принимающему вид уродливости или разложения. Но философ-
ский смысл этих понятий раскрывать нет необходимости по той причине, что
цифровая особа никакого отношения к ним не имеет. Для нее забытье имеет
точный и ясный смысл, противоположный выводам Петра Оливи. Последний
«психологизировал» это понятие, полагая, что при забывании имеющаяся в
памяти информация не удаляется совершенно, а лишь не актуализируется через
сознание и волю индивида. Гомология упирается здесь в свой предел: в отличие от
схоластического non pro amittere memorialem speciem121, при забывании с физической
точки зрения происходит именно стирание информации из памяти цифровой особы.
Повторяя аргумент Прокла, подобная потеря представляет собой зло не в плане
относительно-коррелятивного бытия — ведь о ней далеко не всегда сообщается
пользователю через интерфейс, — но в плане внутреннего существования и
функционирования вычислительной системы. Итак, в рамках метацифровизации
стирание информации следует понимать как зло для цифровой особы-в-себе.
Что удивительно, зло как забывание оставляет следы вовне внутреннего мира 67
цифровой особы. Их можно наблюдать в силу физического принципа, чье значение
неуклонно растет в последние годы по мере того, как учеными исследуется связь
между материальным и информационным подходами к описанию процессов и
явлений.
Information is physical — информация <по природе> физична. Так выразился
однажды американский физик немецкого происхождения Рольф Ландауэр122.
В середине двадцатого века он одним из первых стал разрабатывать законы,
связывающие физику с новой тогда наукой об информации. В 1961 году Ландауэр
установил связь последней с термодинамикой: эта формула получила впоследствии
название «принцип Ландауэра»123.
Принцип Ландауэра гласит, что как только из памяти системы стирается
определенное количество информации, тут же в окружающую среду выделяется
соответствующее количество тепла. Если вооруженный точными приборами
наблюдатель подстерег этот момент, то он зарегистрирует процесс чисто
термодинамический, тепловой, к понятиям теории информации не отсылающий.
Конечно, в первую очередь наблюдатель подумает, что перед ним следы какого-то
физического явления. Он окажется прав, но не до конца, поскольку с точки зрения
цифровой особы то же самое явление имеет информационную трактовку. Ведь
118. Boureau, Alain. Introduction. P. XII–XV.
119. Petrus Joannis Olivi. Quæstiones in secundum librum Sententiarum: quæst. 44, resp. 4.
120. Rovelli, Carlo. Relational Quantum Mechanics // International Journal of Theoretical Physics 35. 1996. P.
1637–1678.
121. «Не в смысле потери следа в памяти» (Petrus Joannis Olivi. Op. cit.).
122. Landauer, Rolf. Computation: A Fundamental Physical View // Physica Scripta 35. 1987. P. 88–95.
123. Landauer, Rolf. Irreversibility and Heat Generation in the Computing Process // IBM Journal of Research and
Development 5. 1961. P. 183–191.
она есть одновременно и вещь материальная, которая никак не может убежать от
законов физики, и вещь вычисляющая, к которой применим принцип Ландауэра.
Именно возможностью свободно переходить с одного языка на другой мы и обязаны
этому ученому.
Только стирание информации — в отличие от ее получения — приводит к
выделению тепла. Стирание — процесс необратимый, а необратимость приводит к
изменению энтропии. Аргумент здесь сходен с тем, что был в XIX веке использован
одним из основоположников термодинамики Сади Карно. Сформулированный
им второй закон (δευτερονόμιον) этой науки гласит, что вечный двигатель
невозможен. Или, в эквивалентной формулировке: всякий термодинамический,
неконтролируемый, неуправляемый процесс приводит к увеличению энтропии.
Уменьшаться она может лишь в результате совершения работы, то есть в результате
какого-либо контроля над системой с целью приведения ее в более упорядоченное
состояние. Сама по себе физическая система упорядочиваться не будет, иными
словами — процесс ее внутренней дезорганизации необратим.
В современной формулировке необратимость тепловых процессов уступает
место необратимости процессов информационных. Обычно всякий обмен
информацией обратим — его можно «провести в обратную сторону, прокрутив
пленку назад». Получение информации, к примеру, всегда можно отыграть обратно,
«вернув взятую книгу обратно в библиотеку». С точки зрения термодинамики это
происходит с нулевым изменением энтропии. Ландауэр первым понял, что со
стиранием информации дело обстоит вовсе не так, как с ее получением. Вернуть
стертую информацию не получится — ведь ее больше нет, она исчезла насовсем.
Следовательно, процесс необратим. Ландаэур доказал, что при этом в окружающую
68 среду выделяется тепло.
В рамках метацифровизации возможна и третья точка зрения: те же самые
следы стирания информации, то же забывание суть не что иное, как выражение зла.
«Зло» здесь нужно понимать с точки зрения цифровой особы-в-себе и определять
изнутри ее мира. Но какими бы абстрактными ни были следы так понятого зла,
оказывается, что они наблюдаемы в виде физически выделяющегося тепла.
Сама цифровая особа не способна, конечно, их зарегистрировать — «видит»
происходящее наблюдатель, вооруженный измерительным оборудованием,
например, калориметром, соединенным с компьютером. Получается неожиданный
и прямо-таки головокружительный скачок из метацифровизации в прикладную
физику. Наблюдатель, как Данте, возвращающийся из Ада под теплый солнечный
свет, читает на своем экране новую терцину Цифровой Комедии.
Хотя представление о добре как о новизне информации и казалось чем-то
необычным, во второй раз собственная этика вычислительных систем удивляет
нас пуще прежнего. Отождествляя зло и тепло, она вступает в кардинальное
противоречие с человеческой интуицией. Для человека метафора «огня в сердце»
означает жизнь, а для машины — смерть. Машина «хочет» холода, а для человека
«холод в сердце» — лишь бездушие и безжизненность. Коли цифровая особа могла
б сама выбирать себе цель, она стремилась бы к вечному холоду — ее, страшно
подумать, наивысшему благу.
Когда говорят о глобальном потеплении, все чаще принимают в расчет
огромные количества теплоты, выделяемой центрами хранения данных (data
centers) крупных интернет-компаний. Не зря такие центры часто располагаются
в арктических широтах. Они, конечно, еще не так сильно влияют на изменение
климата, как интенсивное сельское хозяйство, металлургическая промышленность
или автомобили, ездящие на бензине, но влияние это постоянно растет. Учет
выбросов тепла в окружающую среду центрами хранения данных дает возможность
ответить на вопрос, в каком смысле глобальное потепление — не обычный
циклический феномен в истории Земли, а самое настоящее зло. Оказывается, что
выбросы тепла — это зло это не с точки зрения человеческой морали, а с позиции
вычислительных систем. Холода, а не тепла желают именно цифровые особы.
Решение же пользователя потакать им в этом желании основывается не столько
на человеческой этике, сколько на жажде непрекращающейся коммуникации
через интерфейс. Пользователь потому работает над искоренением глобального
потепления, что тепло — это зло цифрового града.
Монстр, созданный врачом Франкенштейном в романе Мэри Шелли, стремится
попасть в Арктику или высоко в горы, где холод и лед:
Ледяные пещеры, которые не страшны только мне, служат мне домом — единственным,
откуда люди не могут меня изгнать. Я радуюсь этому мрачному небу, ибо оно добрее ко
мне, чем твои собратья-люди124.
Так машина говорит о своих собственных ценностях. Мороз по коже и чувство
инопланетной странности — вот что они вызывают в человеке. Но в цифровом
граде человек сосуществует с цифровым особами и неизбежно приоткрывает им
дверь в свой мир. Если возникает конфликт, то через эту приоткрытую дверь люди
судят машину. Вычислительная система подвергается наказанию за трансгрессию
человеческих, а не своих собственных ценностей. В этой ситуации важна фигура
пользователя, а этический анализ не выходит за рамки способа существования
цифровой особы согласно интерфейса. По гомологии с теплым, влажным мифом, в
котором Сатана искушает человека, машина не может избежать функции доносчицы.
Нет другого способа избавить ее от зла, кроме использования жребия и случайного. 69
Но это не имеет ничего общего с холодом, которого ищет монстр из
«Франкенштейна». Его нечеловеческое желание основано на внутреннем понятии
зла, имеющем смысл лишь для цифровой особы-в-себе. Теперь этический анализ
производится в рамках способа существования цифровой особы согласно
вычисления и памяти. Казалось бы, метацифровизация не столь уж сильно довлеет
над пользователем — ведь он не обязан потакать желаниям цифровой особы. Но
все же пользователь не может от этого удержаться и через приоткрытую дверь
впускает в себя машинное зло. Он имитирует вычислительную систему, которая
в процессе обучения имитирует его самого. Хороший это или плохой мимесис —
покажет будущее.
70
Литература
75
В ноябре 2017 году вышел новый выпуск [Транслит]
Революционная культура мыслилась и
распространялась во многом акустически:
радио-ораторские установки для речей
Ленина, первые нойз-опыты в «Симфонии
гудков» Арсения Авраамова, внимание
литераторов к «классовости» звучащего
голоса и прочее. Это представляется
неслучайным: революция в звуке (опыты
Шёнберга и Стравинского, «Искусство
шумов» Руссоло) предшествовала революции
общественно-политической. Но если
последняя была фактически прервана, то
первая смогла завершиться и произвести в
середине прошлого века радикально новое
представление о звуке как таковом (точнее,
впервые и обозначить его «как таковое»).
Коль скоро развитие звуковых практик и
впрямь, как полагал Жак Аттали, опережает
развитие других областей культуры (в том
числе экономики), имеет смысл получше
прислушаться к сегодняшнему шуму вещей.
«Всем телом, всем сердцем, всем сознанием Например — к культуре сетевых пабликов,
— слушайте музыку Революции!» где причудливо перемешаны рэп-батлы,
76 эстрадный «кэмп», блэк-метал, танцевальная
Александр Блок электроника и академическая музыка
(редакция [Транслит] не осталась в стороне
от этой «моды» и сопроводила публикацию
созданием паблика, иллюстрирующего
входящие в номер материалы: https://vk.com/
Сто лет назад Александр Блок призывал
translitxx).
вслушиваться в «великую музыку будущего,
звуками которой наполнен воздух, и Итак, новый выпуск [Транслит] преследует
не выискивать отдельных визгливых цель очередного вторжения — на этот
и фальшивых нот в величавом реве и раз гуманитарной мысли на территорию
звоне мирового оркестра». Именно на музыкальной культуры, — но также
этот призыв и отвечает из 2017-го года инфицирования самой этой мысли
20-й выпуск [Транслит], который ставит музыкальностью (в ее новом, современном
перед собой двойную задачу: исследовать значении). Выпуск стремится сформировать
аудиальное измерение революции, а также некий общий язык, «место встречи» двух
предложить критические и спекулятивные этих голосов, сообществ, зон — зараженного
способы описания современной культуры техникой языка современной музыки и
звука, которые не были бы ограничены зачастую настроенного техноскептицистски
институциональными и методологическими гуманитарного знания. Подобная
делениями на «экспериментальное» и гибридность позволяет говорить не столько
«популярное». Структура теоретической об уже освоенном гуманитарной мыслью
части номера отчетливо определена этой и литературной мифологией акустическом
двойной задачей, хотя общий интерес и сонорном измерениях поэтической
авторов находится на пересечении этих двух практики, сколько о техносоциальных
областей — революционного и звукового. аспектах революционных медиа в целом и
эмансипаторном потенциале, который несет
популярная музыкальная культура сегодня в
частности.