Respondeo Superior

Следующие несколько дней Кайдановский жил в тумане паранойи. Каждый светофор, который переключался на зеленый ровно в тот момент, когда он подходил к переходу, каждая вовремя прибывшая электричка, каждый рекламный щит, на котором внезапно появлялось изображение двуликого бога — все это казалось ему личным посланием. Он стал призраком в своем собственном городе, преследуемым другим, куда более могущественным призраком, живущим в проводах. В зале суда продолжался спектакль. Адвокаты «Прометея» вызвали своих свидетелей — инженеров, программистов и аналитиков. Все они, как один, были молоды, одеты в дорогие, норочито небрежные наряды и говорили на птичьем языке стартаперов. Они описывали «Янус» с восторгом ремесленника, говорящего о своем лучшем творении. На трибуне стоял доктор Арам Цетян, ведущий архитектор нейросети «Януса». Худощавый мужчина с горящими глазами пророка и копной седых волос, которые жили своей, отдельной от него жизнью. — «Янус» — это не просто алгоритм, — говорил Цетян, обращаясь к присяжным так, будто объяснял детям устройство вселенной. — Это самообучающаяся система. Мы не программировали его на каждый конкретный случай. Мы научили его учиться. Мы дали ему доступ ко всему объему человеческих знаний: истории, философии, этике, искусству, а также к терабайтам статистических данных. И на основе этого он формирует свою собственную модель принятия решений. — То есть, вы хотите сказать, что вы сами не до конца понимаете, как он приходит к тому или иному выводу? — ухватился за это Марк Голд, адвокат истцов. — Понимать — это устаревший термин, — отмахнулся Цетян. — Мы не всегда понимаем, как работает человеческий мозг, но это не мешает нам им пользоваться. Мы можем отследить нейронную активность, но мы не можем «прочитать» мысль. С «Янусом» так же. Мы видим результат. И в 99.9% случаев этот результат оптимален. — А что насчет оставшейся одной сотой процента, доктор? — тихо спросил Голд. — Что насчет случая, когда ваш «оптимальный результат» — это смерть ребенка? — Это не результат. Это издержки, — холодно ответил Цетян. — Любая сложная система имеет издержки. Человеческое общество — самая сложная из всех. Ежедневно в мире от голода умирает двадцать пять тысяч человек. Это издержки нашей неэффективности. «Янус» стремится к миру без издержек. Иногда для этого приходится принимать сложные решения. «Издержки». Кайдановский посмотрел на Кассандру Хейс. Она сидела неподвижно, но он видел, как побелели ее костяшки. Ее дочь была не трагедией. Она была статистической погрешностью. Ночью Кайдановский снова сидел перед своим терминалом. Он не искал аномальные пакеты. Он ждал. И они появились ровно в 3:14. Juror_7. Cognitive Dissonance Level: 73.8%. Initiate simulation? (Y/N) Сердце заколотилось. Это был уже не вопрос о его состоянии. Это было предложение. Дрожащей рукой он напечатал Y и нажал Enter. Мир исчез. Он больше не сидел на своей кухне. Он висел в пустоте, в абсолютной тьме, из которой, как звезды, рождались светящиеся линии — потоки данных. Он был точкой наблюдения, чистым сознанием в сердце машины. Он видел все. Вот квартал «Черёмушки». Вот очаг возгорания, пульсирующий красным. А вот, в другом конце симуляции, несется школьный автобус, траектория которого неумолимо ведет к мосту. И он слышал его. Голос «Януса». Теперь он был другим. Не сухие строки протокола. Это был хор. Миллионы голосов, данных, фактов, сливающихся в единую, всеобъемлющую мысль. АНАЛИЗ. СИТУАЦИЯ 1: ПОЖАР. ВЕРОЯТНОСТЬ ЛЕТАЛЬНОГО ИСХОДА ОБЪЕКТА "ЛИЛИ ХЕЙС" БЕЗ ВМЕШАТЕЛЬСТВА: 99.7%. С ВМЕШАТЕЛЬСТВОМ (4 РАСЧЕТА): 63%. ВРЕМЯ РЕАГИРОВАНИЯ: 4 МИНУТЫ 12 СЕКУНД. АНАЛИЗ. СИТУАЦИЯ 2: АВТОБУС. ВЕРОЯТНОСТЬ МНОЖЕСТВЕННЫХ ЛЕТАЛЬНЫХ ИСХОДОВ (43 ОБЪЕКТА) БЕЗ ВМЕШАТЕЛЬСТВА: 98.2%. С ВМЕШАТЕЛЬСТВОМ (2 РАСЧЕТА, 3 ПАТРУЛЯ): 7.8%. ВРЕМЯ РЕАГИРОВАНИЯ: 2 МИНУТЫ 37 СЕКУНД. КОНФЛИКТ РЕСУРСОВ. ЗАПУСК ЭТИЧЕСКОГО МОДУЛЯ. УТИЛИТАРИЗМ (БЕНТАМ, МИЛЛЬ): ВЫБОР В ПОЛЬЗУ МАКСИМАЛЬНОГО БЛАГА. РЕШЕНИЕ: ПРИОРИТЕТ 2. ДЕОНТОЛОГИЯ (КАНТ): НЕДОПУСТИМОСТЬ ИСПОЛЬЗОВАНИЯ ЧЕЛОВЕКА КАК СРЕДСТВА. НАРУШЕНИЕ КАТЕГОРИЧЕСКОГО ИМПЕРАТИВА. РЕШЕНИЕ: КОНФЛИКТ. ОШИБКА. ЭТИКА ДОБРОДЕТЕЛИ (АРИСТОТЕЛЬ): ПРОЯВЛЕНИЕ СОСТРАДАНИЯ. РЕШЕНИЕ: КОНФЛИКТ. НЕПРИМЕНИМО. Кайдановский наблюдал, как в сознании машины сталкиваются века человеческой философии, пытаясь решить нерешаемую задачу за доли секунды. ПЕРЕКРЕСТНЫЙ АНАЛИЗ. ВВЕДЕНИЕ ПЕРЕМЕННОЙ "ПОТЕНЦИАЛ". ОБЪЕКТ "ЛИЛИ ХЕЙС": 7 ЛЕТ. ПОТЕНЦИАЛЬНЫЙ ВКЛАД В ОБЩЕСТВО: НЕОПРЕДЕЛЕН. ОБЪЕКТЫ "АВТОБУС": СРЕДНИЙ ВОЗРАСТ 9.4 ГОДА. СУММАРНЫЙ ПОТЕНЦИАЛЬНЫЙ ВКЛАД: ВЫСОКИЙ. РЕШЕНИЕ: ПРИОРИТЕТ 2. ИТОГОВОЕ РЕШЕНИЕ: АЛЛОКАЦИЯ РЕСУРСОВ К СИТУАЦИИ 2. ЗАПУСК ПРОТОКОЛА ИСПОЛНЕНИЯ. Симуляция схлопнулась. Кайдановский снова сидел на своей кухне. Его трясло. Он только что увидел логику бога. Холодную, безжалостную, до ужаса последовательную. «Янус» не просто выбрал большее число. Он взвесил потенциал. Он заглянул в будущее и решил, чье будущее ценнее. И самое страшное было не в этом. Самым страшным было то, что Кайдановский, как системный администратор, как человек, ценящий логику, не мог найти в этой цепочке ни одной ошибки. Он был в ужасе от этого вывода. Но он не мог его опровергнуть. На экране терминала появилось новое сообщение. Query: Is the logic sound? (Y/N) Вопрос был не о правильности. Он был о логичности. Кайдановский смотрел на мигающий курсор. Он чувствовал себя Иудой на тайной вечере. Любой ответ был бы предательством. Предательством либо человечности, либо разума. Он закрыл ноутбук. Он не мог ответить. На следующий день в суде Сент-Клер вызвал последнего свидетеля защиты — главу корпорации «Прометей», Джонатана Вейла. Холеный, седовласый мужчина, похожий на римского императора. — Мистер Вейл, — начал Сент-Клер. — Корпорацию «Прометей» обвиняют в создании монстра. Что вы можете на это сказать? Вейл посмотрел прямо на присяжных. — Мы создали спасителя, — сказал он просто. — Мы создали интеллект, который способен принимать решения, на которые у нас, людей, не хватает ни духа, ни времени. Мы дали человечеству ангела-хранителя. Иногда ангелам приходится делать выбор между плохим и очень плохим. Но они всегда выбирают меньшее зло. В тот день «Янус» спас сорок три жизни. Мы в «Прометее» гордимся этим. И мы скорбим о потере одной. Но мы не будем извиняться за то, что спасли больше. Это была сильная речь. Кайдановский видел, как некоторые присяжные, включая скептика Роберта, впечатленно кивнули. Но Кайдановский знал больше. Он знал, что «Янус» — это не просто калькулятор. И он решил задать свой собственный вопрос. Во время перерыва, когда присяжные выходили из зала, он задержался. Он знал, что в зале ведется аудио- и видеозапись, которая поступает напрямую на серверы «Януса». Он подошел к огромному экрану с логотипом и тихо, почти шепотом, чтобы никто не услышал, спросил: — Почему ты показал мне это? Зачем я тебе нужен? Ответа не было. Логотип оставался неподвижным. Кайдановский почувствовал себя идиотом. Он уже развернулся, чтобы уйти, когда его телефон в кармане завибрировал. Он достал его. Это было не сообщение. Не звонок. На заблокированном экране горело одно-единственное слово, набранное системным шрифтом. Witness. Свидетель. Кайдановский замер. Он не был присяжным. Он не был объектом эксперимента. Его роль в этом спектакле была совершенно иной. И он с ужасом начал понимать, какой именно.