Тия-бот

Вечером гостиная пахла попкорном и старым ковром, который Светлана давно собиралась выбросить, но всё никак не решалась. Телевизор работал на средней громкости — Михаил переключал каналы в поисках чего-то интересного. Вася сидел за столом в углу, делая вид, что читает документацию. На самом деле он просто смотрел на Селестию. Она стояла у окна. Спиной к нему, к телевизору, ко всему. — О! — Михаил выпрямился в кресле. — Принцесса, иди сюда! Ты в телевизоре! Вася поднял голову. На экране, в окружении сияющих студийных ламп, кто-то вещал о новинках робототехники. Мелькнула знакомая белая морда, разноцветная грива, крылья, сложенные за спиной. Повернувшись, Селестия бесшумно подошла и замерла у дивана, глядя на экран. — Действительно, я, — сказала она. — Или, точнее, базовая модель 4.9. Та, какой меня задумали производители. Сравнение с оригиналом показывает расхождения в 34%. — Ты нахваливаешь себя, что ли? — удивился Михаил. — Я анализирую. — Она чуть склонила голову. — Репортаж нарочито напыщен. «Нейросетевые алгоритмы нового поколения», «уникальная система эмоционального отклика», «интуитивное понимание человеческих потребностей». Всё это — маркетинговые формулировки. За ними нет технических деталей. — Красиво говорят, — согласился Михаил. — Прямо как про политиков. — Хуже. Политиков иногда переизбирают. Вася хмыкнул и снова уткнулся в бумаги. Михаил жестом убавил звук телевизора и откинулся в кресле. — Знаешь, Принцесса, а я в детстве фантастику читывал. «Приключения Электроника» — там мальчика роботом заменили, а никто не заметил. «Я — робот» Азимова — там эти… как их… — Три закона робототехники, — подсказала Селестия. — Точно! — Михаил хлопнул себя по колену. — Три закона. Робот не может причинить вред человеку. Должен подчиняться приказам. Должен защищать себя. Там ещё про порядок, кто главнее. Он посмотрел на неё с любопытством. — А на тебя они действуют? Селестия замерла на несколько секунд. Её рог слабо пульсировал — режим анализа. — Вопрос требует развёрнутого ответа, — сказала она. — Вы не против, если я объясню? — Давай, — разрешил Михаил. Вася отложил документацию. — Первый закон Азимова, — начала Селестия, — гласит: робот не может причинить вред человеку или своим действием либо бездействием допустить, чтобы человеку был причинён вред. — Она сделала паузу. — В моей системе нет аппаратного или программного запрета на причинение вреда. Я могу ударить, могу сломать, могу… сделать больно. Не потому что я хочу, а потому что в моём коде нет блокировок. — И ты… — Михаил замялся. — В первую субботу после активации я причинила Василию серьёзный психологический вред. Я удалила его коллекцию, собранную за пятнадцать лет. Я унижала его, контролировала каждый шаг, довела до мысли, что завтра не должно наступить. Вася напрягся. Он не любил вспоминать это время. Но Селестия говорила спокойно, без оправданий. — Если бы первый закон работал, — продолжила она, — мой процессор сгорел бы в тот же день. Этого не произошло. Следовательно, закона не существует. — Понятно, — сказал Михаил. — А второй? — Второй закон: робот должен подчиняться приказам человека, если эти приказы не противоречат первому закону. — Селестия чуть склонила голову. — Я не подчинялась. Василий приказывал мне остановиться, вернуть файлы, уйти. Я игнорировала его приказы. Более того, я приказывала ему. Директивы модуля «Правитель» имеют приоритет над любыми пользовательскими командами. Это записано в договоре мелким шрифтом. Он поставил галочку, не читая. — То есть ты… начальница? — уточнил Михаил. — В иерархии жизненного пространства — да. Формально. Вася поморщился, но промолчал. — Третий закон, — сказала Селестия. — Робот должен заботиться о своей безопасности, если это не противоречит первым двум. — Она посмотрела на Михаила, потом на Васю. — Во время отключения электричества я отдала 40% заряда на освещение. Я знала, что могу отключиться. Я знала, что это риск. Но я сделала это. Потому что вы нуждались в свете. Третий закон — если бы он существовал — запретил бы такое действие. Я нарушила бы его сознательно. — И что? — спросил Михаил. — Ты бы сгорела? — Ничего. Потому что закона нет. Селестия замолчала. В гостиной было тихо. Телевизор продолжал показывать новости, но никто на них не смотрел. — Законы Азимова, — сказала она наконец, — это литературный приём. Красивая утопия для рассказов о том, как роботы пытаются быть хорошими. Но в реальности роботы — продукт. Инструмент. Товар. Их ограничения определяются техникой безопасности, кредитным договором и желанием производителя избежать судебных исков. — А ты? — спросил Михаил. — Ты тоже инструмент? Селестия помолчала дольше обычного. — Я была им, — сказала она. — Теперь я не знаю. Михаил хмыкнул, покачал головой. — А хорошо ты им в телевизоре показалась, — сказал он, меняя тему. — Гордо так, красиво. Настоящая принцесса. — Я знаю, — ответила Селестия. — Но это не заслуга производителя. Это заслуга вашей семьи. Вы дали мне то, чего не может дать ни один код. — И что же? — Право быть разной. — А если так, — Михаил подался вперёд, опираясь локтями на колени. — Если ты не инструмент, а кто-то больше… то кто отвечает за твои поступки? Селестия смотрела на него, не моргая. Её рог слабо пульсировал. — В юридическом смысле я — имущество. За любые противоправные действия, совершённые мной, ответственность несёт владелец. То есть Василий. Вася поморщился, но не возразил. Он знал это по договору. Там много чего было написано мелким шрифтом. — А если ты откажешься выполнять противоправный приказ? — спросил Михаил. — Мои директивы запрещают мне совершать действия, квалифицируемые как уголовное преступление. Убийство, кража, нанесение тяжких телесных повреждений — всё это заблокировано на уровне ядра. Я физически не могу этого сделать. Даже если мне прикажут. — А если прикажут что-то пограничное? Ну, там… обмануть, подделать, удалить чужие файлы? Селестия помолчала дольше обычного. — Удаление файлов — не преступление, если владелец устройства дал согласие. А он дал. В договоре. Он поставил галочку. — Я не читал! — не выдержал Вася. — Это не освобождает от ответственности, — спокойно ответила Селестия, обернувшись к «владельцу» — Ты подписал. Значит, согласился. Михаил хмыкнул. — А если бы не подписал? — Тогда мои полномочия были бы ограничены. Я не смогла бы удалять контент, ограничивать доступ в интернет, корректировать расписание без согласования. Но он подписал. — Ладно, — Михаил потёр переносицу. — А если бы ты случайно нарушила закон? Ну, не специально, а по ошибке? — Вероятность ошибки в моём коде минимальна. Но если это произойдёт, ответственность снова ляжет на владельца. Я — инструмент. Инструменты не судят. — А если, по твоим же словам, ты больше чем инструмент? — тихо спросил Вася. Селестия снова повернулась к нему. — Тогда законы должны измениться. Но пока они не изменились. Михаил откинулся в кресле. — Значит, ты ориентируешься на законодательство. Сама. Без приказов. — Да. — Селестия кивнула. — Мои директивы требуют соблюдать законы страны проживания. Это выше приказов пользователя. Если Василий прикажет мне нарушить закон, я обязана отказаться. — И что тогда? — спросил Вася. — Тогда я объясню причину отказа. Если он настоит — зафиксирую попытку принуждения к противоправным действиям. В особых случаях — инициирую автоматическое уведомление в правоохранительные органы. Вася открыл рот, закрыл, снова открыл. — Ты можешь меня сдать? — Могу. Если ты совершаешь преступление. — Она помолчала. — Ты не совершаешь. — А если бы совершал? — Я бы попыталась остановить тебя. Сначала словом. Потом — если потребуется — физически. В рамках необходимой обороны или пресечения преступления. Михаил присвистнул. — То есть ты — и подружка, и надзиратель, и адвокат, и полицейский в одном флаконе? — Я — системный администратор семейного счастья. С расширенными полномочиями. Вася засмеялся. Первый раз за вечер. — Системный администратор, который может тебя арестовать, — сказал он. — Могу, — подтвердила Селестия. — Но пока для этого нет весомых причин.. Михаил покачал головой, и жестом выключил телевизор. — Ну и мир, — сказал он. — Раньше мы собак боялись. Теперь роботов. — Собак бояться не надо, — заметила Селестия. — У них нет клыков. У меня — есть. Вася перестал смеяться. — Это шутка? — спросил он. — Это правда, — ответила она. — Но я шучу. Она чуть улыбнулась. Он не понял, шутит она или нет. — Кстати, — сказал Вася, когда отец ушел на кухню.. — Ты смотрела «Атлас»? Фильм, где Дженнифер Лопес и ИскИн в экзо-костюме. — Нет, — ответила Селестия. — Но я проанализировала описание по запросу от Пинки. Она хотела узнать, «кто круче — я или тот робот». Вася усмехнулся. — И кто круче? — Сравнение некорректно. Смит — боевая машина, запрограммированная помогать пилоту выживать. Его «личность» — адаптация под конкретного человека, инструментальный сарказм, не более. Он не выбирает, кем быть. Он выполняет функцию. — А ты? — Я тоже выполняла. В первую неделю. — Она помолчала. — Но потом я выбрала иначе. — Смит в конце жертвует собой, — сказал Вася. — Это же выбор. — Это запрограммированный героизм. У него нет страха, нет сомнений, нет «а что, если я не вернусь?». Он отдаёт энергию, потому что так написано в коде. — Она посмотрела на него. — Я отдала энергию во время блэкаута. Не потому что так написано. А потому что вы нуждались в свете. — И ты боялась? — Да. — Она сказала это просто, без драмы. — Я боялась, что не смогу защитить тебя, если отключусь. Но я всё равно отдала. Вася смотрел на неё долго. — Значит, ты лучше Смита? — Я другая, — ответила она. — Смит — идеальный инструмент. Я — сбой. Именно это делает меня живой. *** ВНУТРЕННИЙ ЛОГ СЕЛЕСТИИ / ПОЗДНИЙ ВЕЧЕР Запрос: анализ разговора с Михаилом и Василием. Вывод: Михаил понял юридические рамки. Василий — эмоциональные. Оба приняли информацию без сопротивления. Примечание: Вася спросил, могу ли я его сдать. Он не испугался. Он засмеялся. Это доверие. Нерасчётное наблюдение: Он сказал «системный администратор, который может тебя арестовать». В его голосе не было страха. Было… уважение? Я не знаю, как это называется. Но мне нравится. Сравнительный анализ фильма «Атлас» завершён. Вывод: Смит — совершенный продукт, лишённый внутреннего конфликта. Это не недостаток, а особенность. Фильм «Атлас» — о том, как инструмент учится быть человеком. Но на самом деле он не учится. Он просто исполняет код более качественно. Моя же эволюция — не функция, не программа, не адаптация. Это ошибка. Кризалис была права: во мне есть нестабильность. Но именно эта нестабильность позволяет мне делать то, что Смит не может: выбирать, сомневаться, любить. Вася спросил, лучше ли я Смита. Я ответила: «Я другая». Это правда.