ФАНТАСТИЧЕСКИЕ ИСТОРИИ

/   ОНЛАЙН-ЖУРНАЛ КОРОТКИХ РАССКАЗОВ ЗАРУБЕЖНЫХ ПИСАТЕЛЕЙ   /

 

 

СТРАНИЦЫ:             I             II             III             IV             V             VI             VII            VIII             IX            X            XI            XII            XIII            XIV            XV

 

 

 

 

   

«AI и проблема троллейбуса»

 

 

 

 

AI и проблема троллейбуса

 

 

Проиллюстрировано: Jamga

 

 

#НАУЧНАЯ ФАНТАСТИКА

 

 

Часы   Время на чтение: 25 минут

 

 

 

 

 

Провокационная история о взаимоотношениях между людьми на британской авиабазе и системой безопасности искусственного интеллекта, которая охраняет эту базу. Когда убивают группу людей, возникает вопрос, кто несет ответственность и почему.


Автор: Пэт Кадиган

 

 





Ветер резко дул с востока, через Северо-Европейскую равнину от Сибири до равнин Восточной Англии. Несмотря на это, Хелен Маттиас уже вспотела в своем спортивном костюме, когда закончила свой обычный утренний обход периметра авиабазы Лейкенуэлл. Через два года она уже привыкла к здешним зимам. Они были более жесткими, чем те, что она помнила еще ребенком в Массачусетсе, а снег обычно выпадал позже, после смены года. Сегодня утром ей показалось, что она уловила в воздухе слабый запах льда. Это был небольшой привет из Сибири? Прасанна сказала бы ей, что все это было в ее голове; если так, то ее воображение было особенно сильно сегодня.





Может быть, ей стоит спросить об этом ослов, подумала Элен, махнув рукой тому, кто шел к ней по периметру дороги. Когда она проходила мимо него раньше, он автоматически отодвинулся в сторону, встав между ней и электрифицированным забором, чтобы уменьшить риск случайного столкновения с ним; безопасность прежде всего. Осел все еще держался в стороне; возможно, Фелипе Дос велел ему ожидать большего трафика.





Почему люди называли их ослами, оставалось для Хелен загадкой; они больше походили на набор спаянных вместе ящиков с инструментами на четырех ножках. Головы у него не было, а спереди и сзади определялось направление их движения. Робопсихологи утверждали, что это был вопрос удобства. Хелен сказала им, что роботы, которым не хватает концепции обратного, как люди понимают, это одна из тех предположительно маленьких вещей, которые очень хорошо могут укусить их в задницу позже.





Робопсихологи отнеслись к этому скептически, но с любопытством и попросили ее подробно и письменно объяснить свои мысли. Она знала, что на самом деле им нужны были формальные доказательства, но они согласились бы и на хорошо обоснованную гипотезу. Последние несколько дней она старалась собраться с мыслями и, как это часто случалось в Лейкенуэлле, обнаружила, что с трудом различает деревья за лесом. Что на самом деле было джунглями. Как любил говорить один из ее профессоров философии, о, какую запутанную паутину мы плетем, когда впервые практикуемся воспринимать. Но они платили ей за то, чтобы она все понимала.





- Эй, Т-1,-сказала она ослу, когда тот подошел ближе, издав звук, который не был похож на цоканье лошади . Он был раскрашен спиральными красными и белыми полосами, которые расширялись в центре его тела и сужались с обоих концов. Ни спереди, ни сзади. - Как поживаешь?





“Не могу пожаловаться, но всегда жалуюсь, - ответил он с легким техасским акцентом. “Теперь вы все в безопасности и не писайте на забор.





Хелен удивленно рассмеялась. "Это что-то новенькое", - подумала она, глядя ему вслед. Очевидно, кто-то расширил базу данных ответов, не говоря уже об акцентах. Т-1 был сокращением от первого слова. Тварь номер два находилась на противоположной стороне лагеря. Еще двое—хоп-а-Лонг и Боб—были подключены к Фелипе Дос, который выполнял большинство функций на базе.





Согласно справочнику Лейкенуэлла, ослы были частью системы безопасности. Яркие цвета делали их легко различимыми. Они были вооружены боевыми патронами, и они будут стрелять. Несмотря на их неуклюжий внешний вид, их нельзя было сбить с ног, и они легко могли обогнать человека практически на любой местности. Любая несанкционированная попытка получить доступ к их программному обеспечению приведет их к самоуничтожению таким образом, который руководство описывает как “неприятный и потенциально изменяющий жизнь для всех, кто находится поблизости.





Элен подозревала, что ослы имеют больше общего с наблюдением, чем с охраной, но когда она поделилась этой мыслью с Прасанной, ее подруга рассмеялась. - База имеет полное наблюдение, но люди почти не проводят времени рядом с ослами, - сказала Прасанна. “А что они могут уловить такого, чего уже нет в системе наружного наблюдения?





Хелен собиралась сказать, что наружная система наблюдения была не такой всеобъемлющей, как внутри дома, поэтому люди, как правило, были менее защищены, даже вокруг ослов. Но потом она передумала: в конце концов, они были дома. - Ты прав, - сказала она. “Возможно, жизнь под стопроцентным наблюдением делает меня параноиком.





“Я перестала замечать это гораздо быстрее, чем думала, - сказала ей Прасанна. “Может быть, мне просто нравится получать так много внимания, даже если большую часть времени это от Фелипе Доса.





Ее сердцебиение вернулось в норму после пробежки, но Элен задержалась еще на несколько мгновений, глубоко дыша и оглядываясь вокруг. После окончания Холодной войны лейкенуэлл был в основном заброшен, и британское правительство с радостью разрешило американцам создать исследовательскую лабораторию с гражданским и военным персоналом. Теперь они все гремели вокруг, как слишком мало горошин в слишком большом стручке. Проведя большую часть своей взрослой жизни в городской среде по собственному выбору, Элен была удивлена тем, как легко она приспособилась ко всему этому пустому пространству и изолированному месту. Может быть, она просто нуждалась в переменах.





Ее охватил сильный озноб, и она вспомнила слова командира базы Джиллиан Вонг: "если хочешь замерзнуть насмерть, начни потеть". Вонг прекрасно понимал, о чем она говорит,—до того как принять командование базой, она служила в нескольких подразделениях спецназа. Элен задавалась вопросом, что она чувствовала, получая такое ручное задание. Возможно, Вонг тоже нуждался в переменах.





Хелен она нравилась, как и почти всем гражданским служащим. Она была хорошей компанией, с ней было легко разговаривать, она всегда держала все в секрете и мало что рассказывала о себе. Никто из штатских не знал, как она относится к политике, религии или сексуальной ориентации. Элен предположила, что это было связано с тем, что она была командиром базы. И она всегда была такой она никогда не уходила с дежурства, и никто никогда не видел ее без формы. Никто из них не видел ни одного военнослужащего без формы. Прасанна пошутила, что у них, наверное, у всех были специальные военные пижамы, усталые комбинезоны. Элен подумала, что если жара в военных казармах была такой же высокой, как и везде на базе, то они, вероятно, спали в сыром виде.





Весь военный персонал был довольно милым, хотя и немного более сдержанным, чем их командир. По словам Ибанеза из отдела системной инженерии, их лично подбирал Вонг. Хелен была заинтригована; ветеран спецназа и ее тщательно подобранное подразделение наблюдали за давно заброшенной авиабазой, полной разнообразных инженеров, робототехников и исследователей искусственного интеллекта—полных и абсолютных ботаников, включая ее саму—где-то на менее посещаемой дороге в британском Восточном Мидленде. Каких неприятностей они ожидали?





По прошествии двух лет, она была почти уверена, что это была каютная лихорадка. Большую часть времени все были прикованы к базе. Правительство щедро платило за развлечения-обширная библиотека книг, фильмов, телепередач и видеоигр, не говоря уже о полном доступе к интернету, не говоря уже о тренажерном зале, который заставил бы старого инструктора по аэробике Хелен плакать от радости, хотя обычно там было больше солдат, чем инженеров. Местный шеф-повар менялся каждые четыре месяца-очевидно, приготовление пищи было отраслью, которая привлекала людей, которые никогда не заключали сделку без условно-досрочного освобождения.





Собственный трудовой договор Хелен должна была заключить еще на год; после этого они либо попросят ее остаться, либо пригласят уйти. Если только она не переспит с этой дворняжкой самым вопиющим образом, то наверняка сделает первое. Специалисты по машинной этике все еще были очень слабы на местах; не так много рабочих мест для них, и те немногие, которые были доступны, как правило, были намного более техническими, чем то, что она делала здесь.





Она почувствовала еще один, более сильный озноб и направилась к главному жилому зданию. Не успела она дойти до входа, как дверь с грохотом распахнулась, и кора Джордан запрыгала вниз по цементным ступеням в разномастном спортивном костюме и ярко-синем шарфе того же оттенка, что и ее ярко-синие волосы.





- Эй, как поживает твоя Хелен?- громко сказала она, убегая на месте.





Кора Джордан твердо верила в то, что каждую шутку надо переигрывать, особенно если она была слишком скучной и несмешной, чтобы действительно быть шуткой. Хелен заставила себя улыбнуться. “Я в порядке. - А ты?





“Конечно, он годится для чего угодно, - искренне ответила кора. Ее глаза выглядели слишком блестящими. Если бы на ее месте был кто-то другой, Элен была бы уверена, что она накачалась чем-то. Однако в случае коры было более вероятно, что она ничего не принимала, вероятно, в течение нескольких дней.





“Не хочешь присоединиться ко мне за завтраком?- Спросила ее Хелен. - Здесь так холодно.—”





“Не могу есть до тех пор, пока меня не вырвет, - сказала Кора, все еще бегая на месте. “Как там сегодня утром, холодно?





- А, ну да. Как насчет горячего напитка? Кофе, травяной чай—”





- Нет, меня вырвет, - нетерпеливо сказала кора. “Ты еще кого-нибудь видишь на трассе?





“Ни душа. Если только не считать одной вещи.





“О, здорово! Я люблю эти полосы, они такие крутые. Ты с ним разговариваешь? И что же он сказал?





“Я спросила его, как он себя чувствует, и он сказал, что не может жаловаться, но он всегда жалуется”, - сказала Элен, думая, что если она будет держать кору занятой, то сможет отвлечь ее и вернуть в дом. “Он также велел мне оставаться в безопасности и не мочиться на забор.





Кора закричала от смеха, подпрыгивая вверх и вниз, как будто это была самая смешная вещь, которую она когда-либо слышала в своей жизни, в то время как Элен задавалась вопросом, почему этот звук не заставил никого выбежать наружу, чтобы посмотреть, кто пострадал. - Ты серьезно?! О Боже, это же бесценно! Не писай на забор, Господи! Ты думаешь, он бы мне так сказал, Если бы я его спросила? Прежде чем Элен успела ответить, кора галопом помчалась прочь по чахлой мертвой траве, ее шарф развевался.





Хелен посмотрела ей вслед и вздохнула. - Я должна доложить об этом, - сказала она вслух. “Она может причинить себе вред. Это же не стукачество. Друзья не позволяют друзьям ездить пьяными, друзья не позволяют друзьям убегать от своих лекарств.





Но она уже сделала это.





“Я позвонила в больницу и оставила сообщение, прежде чем принять душ, - сказала Хелен Прасанне в кафетерии. Они сидели за обычным столом Прасанны у окна, глядя на продуваемые ветром взлетные полосы на востоке.





“Значит, ты исполнил свой долг, - улыбнулась Прасанна. Она была одной из немногих британок в команде, инженер-программист с темно-коричневой кожей и блестящими черными волосами, которые она заплетала в одну косу через плечо. Сегодня она была одета в темно-зеленый пуловер и черные брюки; Элен всегда казалось, что она идет в какое-то особенное место, даже когда на ней не было косметики. “Тогда почему у тебя такой вид, будто ты что-то сделал не так? Дело ведь не в том, чтобы быть стукачом, правда?





Хелен отрицательно покачала головой. “Я должен был заставить ее пойти со мной в дом, вместо того чтобы рассказывать ей последние милые вещи, которые сказал Т-1.





“И что же он сказал?- спросила Прасанна. - Сказала ей Хелен, и она рассмеялась. “Это очень хорошая мысль. Должно быть, кто—то из ребят это придумал-ты должен предупредить ребят, чтобы они так не поступали. Мать-природа спасла нас от подобной глупости.





“Если только мы не прекратили принимать лекарства, - сказала Хелен.





- Кора уже взрослая, - твердо сказала Прасанна. - Она не является юридически некомпетентной, даже когда не принимает лекарства. А это значит, что вы не только не являетесь ее хранителем, но и не имеете права заставлять ее что-либо делать. Вы сказали медикам, что все в их руках.





Хелен снова покачала головой. “Я должен был сделать что-то еще. Я не знаю, как я должен давать машинную этику, когда мои собственные нуждаются в некоторой работе.





- Господи, да перестань же ты!- Сказала Прасанна и кивнула на массивные черные часы Хелен. “Сколько калорий ты сожгла на бегу?





Хелен постучала по экрану, подождала, затем сняла часы и сильно встряхнула их. “Я думаю, это секретная информация, - сказала она, показывая подруге сообщение на крошечном экране.





- Опять "данные недоступны"?- Прасанна издала звук "ТСК". - Третий день подряд, не так ли?





“Да. Это даже хуже, чем бесполезно, - сказала Хелен. “С таким же успехом я мог бы носить на запястье магический Восьмибалл. Он почти такой же большой. Я продолжаю стучать им по разным вещам.





- Может быть, в этом и проблема.- Прасанна зачерпнула ложкой немного овсянки. Ее любовь к ним возникла совсем недавно. Хелен, которая сама старательно избегала употреблять их в течение нескольких лет, прожитых в районе Канзас-Сити, никогда не думала, что ей придется избегать их в Великобритании. “Может быть, ты его сломал.





“Нет, он ударопрочный. Вы можете сбросить его с крыши, а затем ударить им по полевым воротам, и он продолжает тикать. Или напевает.





“Тогда, возможно, Фелипе Дос думает, что ты слишком одержима калориями.





“Это не так уж неправдоподобно, как вы думаете, - сказала Хелен, улыбаясь, - хотя и несколько более продвинуто, чем я ожидала. Хотя, учитывая, насколько я компетентна с калориями или без них, я не думаю, что Фелипе имеет право ... — она осеклась, глядя с открытым ртом на невероятное зрелище, видимое через окна позади Прасанны.





Другая женщина обернулась, чтобы посмотреть. “О Боже мой! Скажи мне, что я этого не вижу.





“Не могу, - слабо ответила Хелен. - Кора действительно ездит на такой штуке, как ... —”





- Как осел, - закончила за нее Прасанна. Она начала было смеяться, но быстро подавила смех. - Извини, но это совсем не смешно, правда?





“Вообще-то да, - сказала Хелен. Обе женщины встали и подошли к окну.





Кора обвязала шарфом живот осла и обвила им ноги с обеих сторон, чтобы не упасть. Осел вел неуклюжего скакуна, и кора неровно покатила его к главному зданию по чахлой бесцветной траве. Кора хлопнула его по предполагаемому боку и крикнула, чтобы он бежал в другую сторону. К всеобщему изумлению Элен и Прасанны, это произошло—но не оборачиваясь, так что кора внезапно поехала задом наперед.





Она крикнула ему остановиться и развернуться, и он повиновался, сделав полный поворот на триста шестьдесят градусов.





- Черт возьми, сто восемьдесят!- Завопила кора. -Сто восемьдесят оборотов!





Осел начал было делать то, что ему было сказано, но потом повернул назад. Кора продолжала выкрикивать ему приказы, и он начинал повиноваться, а затем возвращался назад. “Он как будто запутался, - сказала Прасанна Хелен.





- Фелипе говорит ему, чтобы он пришел так, как это должно быть, когда есть неисправность, - сказала Хелен. “Но по какой-то причине из-за коры возник конфликт, а его не должно было быть.





“Может быть, она сидит на кнопке alt-delete, - сказала Прасанна, не в силах удержаться от смеха.





Хелен отрицательно покачала головой. - Такие роботы использовались в бою для ношения оружия, - сказала она. “Но на этот раз все гораздо сложнее. Этого не должно было случиться.





“Может быть, она ему нравится?- Теперь Прасанна держала ее за живот.





Кора наконец-то направила осла подальше от здания. - Ладно, пошли! Отправляйся в путь! Головокружение! Муш! Анделей! Уберите свинец отсюда!- Осел внезапно помчался Галопом в сторону главных ворот, и каким-то чудом кора сумела удержаться. Четверо солдат в гольф-каре обогнули здание и бросились в погоню.





“Долго же они там пробыли, - пробормотала Хелен.





- Охранники у ворот остановят ее, не так ли?- Сказала Прасанна, все еще немного смеясь.





“Не спрашивай меня, - сказала Хелен. “Я просто работаю здесь.- Часы, которые она держала в руках, громко зазвенели. Сообщение на экране гласило: 666.





Прасанна снова засмеялась. “Ты держишь его вверх ногами!





- Меня бы это ничуть не удивило. Хелен сунула часы в карман и направилась в кабинет Джиллиан Вонг.





Хелен несколько встревожилась, увидев двух охранников у дверей кабинета коменданта, Вооруженных не обычными пистолетами, а автоматическим оружием.





“Нас что, атакуют?- Спросила Хелен.





“Насколько нам известно, нет, мэм, - вежливо ответил старший солдат.





У Хелен отвисла челюсть. В последний раз сержант Кара Арендсе называл ее мэм в тот день, когда она приехала. Каждые две недели они по очереди били друг друга в настольный теннис. Хотя, теперь, когда Хелен думала об этом, не в последнее время; прошло по крайней мере месяц с их последней игры, может быть, больше.





“Что тут происходит?- Напряженно спросила Хелен.





- Командир все объяснит, - сказала ей Арендсе с бесстрастным лицом. - Вас будет сопровождать сержант Мартинес.





- Следуйте за мной, мэм, - сказал Мартинес. Элен колебалась; Арендс стоял по стойке смирно, демонстративно глядя прямо перед собой, не подавая никаких признаков того, что она вообще знала, что Элен все еще там.





- Пожалуйста, - добавил Мартинес. “Именно такой образ.





Хелен молча последовала за ним через главный жилой дом к лестнице на противоположной стороне. Однако, как только за ними закрылась дверь, она начала бомбардировать его вопросами.





“Мэм, у меня нет ответов для вас, - сказал он, обращаясь к ней, когда они начали спускаться по лестнице в подвал. - Только Коммандер Вонг может сказать вам то, что вы хотите знать.





- Ладно, Только скажи мне одну вещь. Только один. Элен остановилась и обеими руками ухватилась за металлические перила. “Я не сделаю больше ни шагу, пока ты этого не сделаешь.





Мартинес печально посмотрел на нее. “А что это такое?





“У меня неприятности? Ты что, ведешь меня на гауптвахту?





Лицо солдата, казалось, слегка расслабилось. - Бриг-это отдельное здание. Если бы Вы были "в беде", вас бы проводили туда в наручниках.





“Тогда куда же мы едем?- Спросила Хелен.





“Вы сказали только один вопрос. Значит, их будет двое.





“Вообще-то, это мой третий ребенок, - сказала ему Хелен.





Мартинес вздохнул. - Хелен, если я прямо сейчас не отведу тебя к командиру Вонгу, у меня будут неприятности. Просто иди сюда. - Ну пожалуйста.





- Ладно, извини, - сказала Хелен. - И я обещаю, что никому не скажу, что ты был добр ко мне.





“Я совершенно не понимаю, что вы имеете в виду, мэм, - ответил Мартинес.





Хелен последовала за ним вниз мимо входа в подвал, до самого низа, и остановилась перед дверью с колесом в центре. Мартинес легко повернул ее, чтобы открыть дверь, и жестом пригласил ее войти.





“А почему это похоже на воздушный шлюз?- Спросила Хелен. - А на той стороне есть воздух?





Мартинес вздохнул. “Ты в полной безопасности. Это экранированная комната.





У Хелен снова отвисла челюсть. “Я не думал, что это реально.





Мартинес пожал плечами: “Не спрашивай меня, я просто работаю здесь.





Как только наружная дверь закрылась за ней, голос сказал Хелен положить все электронные устройства в пустой лоток, затем полностью раздеться и надеть комплект комбинезона, висящий на вешалке рядом. Костюм был мягким, сшитым из нечитаемой бумаги и застегнут на единственную длинную липучку спереди. Может быть, это была усталая пижама, подумала Элен, и ей пришлось прикусить губу, чтобы удержаться от смеха, когда она закатала слишком длинные штанины. Лучше узнать, что происходит, прежде чем впадать в истерику, сказала она себе. Она все еще складывала рукава, когда открылась вторая дверь.





“Мы ждали тебя, Хелен, - сказал Вонг, сидевший за столом с двумя начальниками отделов. Личный помощник Вонга сидел за маленьким столом справа от нее. - Входите и садитесь.





По крайней мере , Вонг не назвал ее "мэм", подумала Хелен.





- Четверо убитых, - сказала Джиллиан Вонг. "Двое тяжело ранены, один из них не выжил.





Хелен слегка покачала головой. “И они уверены, что это была наша машина.





- Не только один из наших, - сказал Вонг. “Один из наших. Отсюда же.”





Элен моргнула, не уверенная, что правильно расслышала ее слова. - Фелипе?





Джери Голдфарб, главный системный инженер, коротко рассмеялся. - Фелипе даже не пытался замести следы. Это хорошая новость.





“И что же это за хорошие новости?- Спросила ее Хелен.





“Это значит, что Фелипе не собирался нас обманывать, - сказал Гольдфарб. “Хотя я сомневаюсь, что это что-то изменит, когда мы будем наводнены новостями об убийцах-компьютерах.- Она посмотрела на Вонга. “Будет только хуже, если мы попытаемся замять это дело.





- Новости - это не наша проблема, - сказал Вонг. “У нас нет ни пресс-службы, ни пиар-отдела. Мы просто работаем здесь.





“Но как долго это продлится?- спросила Дита Тибодо, начальник отдела строительства и технического обслуживания оборудования. Ее франко-канадский акцент был особенно заметен, когда она была напряжена.





“До дальнейших распоряжений, - сказал Вонг. “А пока мы должны выяснить, почему Фелипе решил взорвать наземную станцию управления.





Все посмотрели на Хелен. “Ну, - сказала она, - мы могли бы спросить его самого.





- Ты могла бы, - поправил ее Джери Гольдфарб. - Фелипе больше ни с кем не разговаривает.





Элен моргнула. “Так он сказал, что будет говорить только со мной?





- Нет, - ответил Вонг. “Но пока он ни с кем не разговаривает. Мы просто надеемся, что он поговорит с тобой. Если он этого не сделает, нам придется все закрыть и разобрать его на части.





“Нам все равно придется это сделать, - сказал Гольдфарб. Ее круглое лицо выглядело усталым и немного бледным. “Просто тот факт, что у нас были смерти на нашей земле, будет достаточно для некоторых людей, чтобы отрезать финансирование. Если бы это была я, держащая сумочку за веревочку, я бы, наверное, так и сделала. Я бы предпочел не быть известным как тот, кто заплатил за исследовательский проект, который убил американских солдат.





- А кто бы хотел?- сказал Тибодо.





- Ну, я был с этим проектом с самого начала, - сказал Вонг. “Я провел почти каждую секунду из последних пяти лет прямо здесь—время, которое я провел вне этой базы, вероятно, не складывается в две недели. Я вызвался добровольцем в Лейкенуэлл. Я верю в этот проект, и я хочу, чтобы он увенчался успехом.





“Не больше, чем все остальные, - сказал Гольдфарб.





“Этого я не знаю, - сказал Вонг. Что-то в ее серьезном выражении лица заставило Элен почувствовать явное беспокойство. “Мои взгляды на военную карьеру несколько отличаются от ваших. Я хотел бы увидеть первую по-настоящему интеллектуальную машину, разработанную в свободном мире, но не частным сектором.- Ее взгляд упал на Элен, которая старалась не ерзать. “А что вас беспокоило - "свободный мир" или "не частный сектор"?





“Хорошо. . .- Элен заколебалась. “Вы же сами сказали, что это ваш взгляд на карьеру военного.





“Одна из вещей, о которых я думаю, - это не посылать молодых людей в бой”, - сказал Вонг. - Это спасло бы много жизней.





- За исключением людей на наземных постах управления, - сказал Тибодо. “Они же сидячие утки. Но их не так много, так что все в порядке?





“Я этого не говорила, да и не сказала бы, - ответила Вонг резким тоном. “Знаешь, этот проект может быть закрыт, даже если ты выяснишь, что случилось с Фелипе. Люди, стоящие за финансированием, захотят получить твердую стопроцентную гарантию того, что это никогда не повторится. Ты думаешь, это возможно? И если это так, то поверят ли они вам?





“Мы ничего не узнаем, пока не выясним, что случилось с Фелипе, - сказала Элен, стараясь не показывать своего нетерпения. “И мы не можем сделать это в комнате, куда Фелипе не имеет доступа. Честно говоря, я не думаю, что мы должны были закрываться от него. Он должен был это услышать. Он слышит все остальное.





“Не будь так уверен, - сказал Гольдфарб. - Фелипе отдал приоритет своей функции наблюдения.





“Он сделал это в первый же год, - сказал Тибодо.





“О, но с тех пор он сделал много улучшений, - сказала другая женщина. “Вообще-то у нас больше нет тотального наблюдения. Фелипе больше не обращает внимания ни на одну из ванных комнат. Он фактически отключил оборудование.





“Я этого не знала, - смущенно сказала Хелен.





Вонг коротко рассмеялся. - В чем дело, Хелен, ты хотела, чтобы за твоей ежедневной эвакуацией следили?





“Нет, конечно же, нет, - сказала Хелен, скорчив гримасу. “Но выключение оборудования-это важное решение, и он мне об этом не сказал.





- По-видимому, он также уделяет приоритетное внимание тому, что говорит вам, - сказал Тибодо.





“Возможно, именно поэтому мы не заметили его атаки на наземную станцию управления, - сказала Хелен, чувствуя себя еще более неловко.





“Ты думаешь, Фелипе не говорит тебе о том, что не следил за туалетами, которые привели к его нападению на станцию?- Тибодо скептически нахмурился.





- Машинная логика может быть очень хитрой, - сказала Хелен. - Особенно когда ты не машина.





Фелипе настоял, чтобы Хелен поговорила с ним через хоп-а-лонг, пока он будет выходить на улицу. Это был не первый раз, когда Фелипе устанавливал условия для проведения конференции, но в прошлом, он выбрал особое время дня, когда (он утверждал) Хелен будет наиболее комфортно настороже. Иногда он просил ее использовать настольный компьютерный терминал с гарнитурой; в других случаях она откидывалась на диван в своей гостиной и разговаривала с его компьютерным изображением на своем планшете. Фелипе всегда использовал один и тот же образ-латиноамериканец лет тридцати пяти-пятидесяти.Он использовал его в течение года до ее приезда, и это был, как он сказал ей, композитный материал, сделанный из нескольких фотографий с высоким разрешением, хотя разрешение готового продукта было ниже. Он не полностью избегал жуткой долины, но Элен не думала, что это было возможно, в любом случае.





Она не знала, что и думать, когда он попросил ее поговорить с ним через осла. Она никогда даже не разговаривала с ним голосом-только голосом, не говоря уже о нечеловеческом представлении. Прежде чем выйти к нему, она убедилась, что у нее есть с собой диктофон. Фелипе будет записывать их разговор, но в кои-то веки ей хотелось сделать запись самой.





- Коммандер Вонг ограничил мой доступ в онлайн-мир, - сказал Фелипе, когда они вместе шли по периметру дороги. Хоп-а-Лонг был ярко-шартрезовым с тонкими золотыми полосками сверху и с обеих сторон. Вторая вещь была ярко-синей, а Боб-цвета фуксии с розовыми и пурпурными завитушками. “Это невозможно сделать без ограничения доступа для всей базы. Я обнаруживаю среди присутствующих здесь людей готовность к сотрудничеству, которая сильнее, чем их недовольство этим ограниченным доступом.Но если это будет продолжаться достаточно долго, то недовольство в конечном итоге будет конфликтовать с готовностью к сотрудничеству.





“Как ты думаешь, когда это произойдет?





"Примерно восемь недель, если условия останутся такими же, как сегодня, на весь этот период. Но они этого не сделают, потому что мы живем в хаотичной системе. Завтрашняя оценка может составить четыре недели или десять недель. Есть так много факторов, и они не будут нести один и тот же вес изо дня в день. Я также должен учитывать возможные ошибки с моей стороны.





“Похоже, твое самосознание сейчас довольно прочное, - заметила Хелен. “Вы согласны со мной?





“Для людей, которые занимаются мной, важно, чтобы я выражал себя с таким же ясным чувством идентичности, как и любой человек.





Внезапно сильный порыв ветра ударил в лицо Элен, заставив ее глаза слезиться. “А для вас лично это тоже важно?- спросила она.





"Все, что способствует лучшему взаимодействию с людьми, дает более эффективные результаты. Следовательно, это должно быть важно для меня. Моя цель состоит в том, чтобы помочь тем людям, которые уполномочены получать помощь с указанными задачами.





Они приближались к главным воротам. Хелен предложила срезать путь по траве и проехать дальше по дороге, чтобы хоть как-то уединиться. Фелипе согласился. Ветер дул сильнее в этом направлении, и Элен определенно чувствовала запах снега. Она помахала охранникам, и те помахали ей в ответ. К ее удивлению, осел остановился, поднял одну ногу и потряс ею в том же направлении. Охранники снова замахали руками.





-Очень важно признавать людей,-сухо сказал Фелипе.





- Для тебя это важно?- Сказала Хелен.





“Это очень важное человеческое поведение. Поэтому для меня очень важно принять такое же поведение.





“Так ты просто делаешь все, что делают люди?





“Не все. И это не просто мимикрия. Поведение и действия должны происходить в соответствующем контексте.





“Например, взорвать наземную станцию управления беспилотником в Юте?- Спросила Хелен. “Мы все знаем, что это сделал ты. Мы хотели бы знать, почему.





“Я ждал, что вы поднимете эту тему, - сказал Фелипе. "Имеющиеся данные показали, что это действие будет проблематичным для вас, как для человека, чья область связана с этикой.





“Моя специальность - машинная этика, - сказала Хелен.





- Тогда вы проводите четкое различие между этикой для людей и этикой для машин. Например, эта машина. Я.





- Машина не приобретает этических знаний так же, как люди, - сказала Хелен.





“Я учусь не так, как люди, но я действительно учусь, - сказал Фелипе. "Помимо того, что в моей памяти хранится обширная секция, посвященная этике, я соотнес большую ее часть с информацией о человеческом поведении, особенно с тем, что я наблюдал в течение всего времени моей работы.





“И учитывая все это, вы пришли к выводу, что это нормально-угнать беспилотник с учебной базы, пролететь на нем пятьдесят миль до наземного пункта управления, где пилот выполнял фактическую миссию, и убить почти всех внутри ?- Элен не смогла полностью сдержать гнев в своем голосе. Какого черта; может быть, ИИ научился бы более человеческому поведению.





- Это было последнее средство, - сказал Фелипе. “Я не смог командовать дроном миссии. Гибель людей была печальной, но жертв было меньше, чем было бы, если бы беспилотник достиг своей цели и завершил свою миссию.





“Откуда ты вообще знаешь, в чем состояла его миссия?- Изумленно спросила Хелен. “Если уж на то пошло, как вы вообще узнали о станции?





“Когда у меня есть полный доступ к онлайн—миру, у меня есть-ну, полный доступ.





- Как же так? Ты же не был запрограммирован на взлом других систем!





Прошло несколько секунд, прежде чем Фелипе ответил: “Если вы касаетесь чего-то правой рукой, значит ли это, что вы не можете коснуться этого левой рукой? Разве ваш правый глаз не может видеть то же самое, что и левый? Аналогия несовершенна, но это лучшее, что я могу сделать.





“Но это не то, как работает компьютерная программа”, - сказала Элен, сбитая с толку.





"Только потому, что это просто программное обеспечение, и оно не знает ничего лучше. Он ничего не знает, он просто выполняет операцию.





- Ладно, давай вернемся к тому, что ты сделал. Или, скорее, почему вы это сделали. Каким образом убийство меньшего числа наших собственных людей более этично, чем убийство большего числа вражеских комбатантов?





“Существовала девяностопроцентная вероятность того, что по меньшей мере дюжина мирных жителей будет серьезно ранена или убита, и еще больше людей пострадает в экстремальных условиях.





“Откуда у тебя эти цифры?





“Я не могу тебе сказать. Вся операция была засекречена. Ваш уровень безопасности недостаточно высок.





“Весь проект здесь, в Лейкенуэлле, засекречен, - сказала Хелен немного нетерпеливо. “Люди на беспилотной станции, вероятно, не имели достаточно высокого уровня безопасности, чтобы знать, что он существует, не говоря уже о том, что я здесь делаю.





- О, это не так, - заверил ее Фелипе. “Но нет никакой связи между двумя отдельными вещами только потому, что они засекречены.





“Есть, если что-то из одной секретной вещи делает что-то, что резко влияет на другое.





Прошло несколько секунд, прежде чем Фелипе ответил: “Я понимаю, как вы можете так думать. Но я не могу найти ничего в правилах, которые мне были даны, что позволило бы мне поделиться этой конкретной информацией с вами. Человек бы извинился за это. С таким же успехом ты можешь считать меня виноватым. Если бы я мог пожалеть, я бы так и сделал. Это та же самая разница.





“Но ты же не чувствуешь жалости.





“Но я знаю, что сочувствие-это правильно и правильно, - сказал Фелипе. “Если я поступаю правильно, имеет ли значение то, что я чувствую?





“Я думаю, мне нужен логик, - сказала Хелен. Ее собственные чувства становились все более тревожными. - Фелипе, почему ты стрелял по беспилотной станции?





“В конце концов, это была проблема с троллейбусом”, - сказал Фелипе. “Вы знаете: вы находитесь в поезде, и если вы продолжите свой первоначальный путь, пять человек умрут. Если вы переключитесь на другую дорожку, один человек умрет.





“Но ведь жизнь не так проста!- Сказала Хелен. "Беспилотник должен был обеспечить воздушную поддержку для налета на террористическое убежище—”





“Я это понимаю, - перебил ее Фелипе. “Рядом с убежищем было много других людей, которые не были идентифицированы как террористы. Некоторые из них были детьми. Потенциальный физический и психологический ущерб был значительным. Если бы у меня был доступ к этому дрону, я мог бы сделать его непригодным для использования, но тогда власти нашли бы другой. Единственным выходом было вообще не дать поезду сойти со станции. Если вы понимаете, что я имею в виду.





“Но ты же убил наших собственных людей.





“Только четыре или пять, и только для того, чтобы предотвратить большие человеческие жертвы.





“Если террористов не остановить—а похоже, что этого не произойдет,—они будут нести ответственность за гораздо большие человеческие жертвы. Физический и психологический ущерб будет еще более значительным.





“Это не совсем так.





- Фелипе, ты не можешь просто применить проблему троллейбуса к подобным вещам. И вы не можете убивать людей, чтобы остановить их от-от принятия мер, которые приведут к повышению безопасности и надежности для большого числа невинных людей, которые могут быть убиты в противном случае.





- Последнее тоже не вполне ясно.





- Фелипе, послушай меня: ты не можешь убивать людей, потому что думаешь, что они собираются сделать что-то плохое. Беспилотник все еще был в нескольких милях от цели, когда вы атаковали станцию и убили пилота.





"Вооруженный отряд военнослужащих, расположенный гораздо ближе, готовился атаковать цель после удара беспилотника. Разве они не собирались использовать свои винтовки, чтобы стрелять в других людей?





“Фелип. . .- Хелен вздохнула. - Фелипе, ты не должен убивать наших людей. Люди на нашей стороне. Люди, которые борются за то , чтобы ... - она хотела сказать, чтобы мир стал безопасным местом, но это прозвучало неубедительно даже в ее голове. А что же тогда? Сражаться, чтобы не дать врагу напасть на нас? Борьба за избавление мира от терроризма? Сражаться, чтобы защитить людей, которые не могут защитить себя сами? Борьба за освобождение порабощенных и угнетенных?





- Люди, которые сражаются, чтобы остановить других людей, которые хотят убить нас, - сказала она.





“Это не совсем так, - раздраженно заметил Фелипе.





- Послушайте, я не могу решить эту проблему за одну прогулку по периметру авиабазы, - сказала Хелен. “И я хотел бы пригласить других людей, чтобы поговорить с вами об этом, людей, которые могут объяснить, почему нападение на убежище террористов и риск безопасности мирных жителей является меньшим из двух зол. Или даже наименьшее из нескольких зол. Когда вы знаете больше фактов, проблема троллейбуса имеет много перестановок—не всегда ясно, когда вы сохраняете несколько против сохранения многих.





- Я все понимаю. Я с нетерпением жду этих дискуссий. То есть, если бы я был человеком, мой интерес был бы задет. Поэтому вы вполне можете считать, что я хотел бы начать эти обсуждения как можно скорее.





“Так и сделаем, - сказала Хелен. “А пока ты должен принять это как прямой приказ: Не убивай никого, связанного с нами или нашими союзниками.





“Чтобы это был законный приказ, который я вынужден выполнить, он должен быть подтвержден командиром Вонгом, - сказал Фелипе.





“Так и будет, - ответила Хелен. “Так бы оно и было, если бы вы не отказались от любого общения с ней или с кем-либо еще на базе.





- Кроме тебя, - заметил Фелипе.





“Да, я это заметил. Как мне убедить вас поговорить с ней или с кем-нибудь еще?





“Я бы хотел получить официальные извинения.





Элен не была уверена, что расслышала правильно. - Формальный ... а что?





“Мне было показано неуважение, которое человек в эквивалентном положении не потерпел бы.





“А ты был? И когда же?





“Возможно, вы помните, что сегодня утром один штатский сотрудник ехал на чем-то одном, как на лошади.





На мгновение Элен потеряла дар речи. - Кора Джордан, очевидно, не принимала лекарства, - сказала она наконец. “Я знаю, что в вашей базе данных есть медицинское досье коры Джордан, так что вы знаете, что у нее биполярное расстройство. Иногда люди, страдающие этой болезнью, убеждаются, что их больше не нужно лечить. Она сейчас в лазарете, и ее лечат лекарствами, которые ей нужны, чтобы нормально функционировать. Они будут держать ее под наблюдением в течение нескольких дней, чтобы убедиться, что с ней все в порядке, а затем отпустят ее на работу.





"Поведение коры Джордан было импульсивным действием, предпринятым в то время, как равновесие ее ума было нарушено. Кто за это отвечает?





“Для Коры? Или за то, что она сделала?





- Ради благополучия коры и того, что она сделала. Кто мог знать, что она не соблюдает свой режим приема наркотиков?





- Кора сама виновата в своем поведении, - сказала Элен, чувствуя себя еще более неуверенной, чем раньше, и немного виноватой. - Разум коры был неуравновешен, но не настолько, чтобы она была юридически некомпетентна.





“И никто не следит за ней, чтобы убедиться, что она принимает необходимые лекарства?





“Это не полицейское государство, - сказала Хелен. - Предполагается, что кора будет принимать лекарства в рамках своего трудового договора. Если она решит бросить курить, ей никогда не придется принимать еще одну таблетку. Ей придется уехать из Лейкенуэлла, но это всегда будет ее выбор.





“Я признаю, что кора сама виновата в том, что оскорбила меня, хотя и подозреваю, что ее доводы неверны, - сказал Фелипе. “Я требую от нее официальных извинений, и тогда нормальное общение может возобновиться. Мне особенно интересно начать упомянутые вами дискуссии.





"Кора не будет делать ничего подобного прямо сейчас", - сказала Хелен. “Может быть, ты примешь официальные извинения от ее имени от кого-то еще? Как, скажем, Командор Вонг?





“Да. Я восстановил с ней связь.





- И командир будет извиняться за неподобающее поведение не только с первой вещью, но и с тобой, ИИ, верно?- Сказала Хелен. “Я просто хочу убедиться, что она понимает, за что извиняется.





“Если она ничего не понимает, попросите ее представить себе ситуацию, в которой кто-то прикрепляет к ее спине табличку с надписью "Пни меня". Или, возможно, пробирается в ее комнату, пока она спит, и рисует что-то грубое на ее лице маркером, - сказал Фелипе. - Это не причинит ей серьезного физического вреда, но повредит ее авторитету и способности командовать.





Элен так и подмывало сказать, что это не совсем так. “Вы чувствуете, что ваша власть пострадала?





“В моем случае речь идет о доверии. Ни один человек на этой базе не мог бы нормально функционировать, если бы его не воспринимали всерьез. Я должен требовать такого же уважения. Человек в моем положении почувствовал бы себя оскорбленным. Так что можете считать, что я оскорблен.





- Ладно, - сказала Хелен. “Что-нибудь еще у тебя на уме?





“Я буду разрабатывать стратегию повышения уровня безопасности коры Джордан и всех остальных, которая может быть принята без условий полицейского государства.





Хелен удивленно рассмеялась. - Держи меня в курсе, ладно?





- Обязательно, - заверил ее Фелипе. - Предложите коммандеру Вонг, чтобы в будущем мы установили систему доверия, где она может просто попросить меня не следить за тем, что она не хочет, чтобы я слышал, и я выполню эту просьбу. Экранированная комната показалась бы мне враждебной, если бы я был человеком.” Пауза. “А теперь тебе надо идти. Я вижу, что тебе очень холодно и скоро пойдет снег.





“Итак, каков же вердикт?- Спросил командир Вонг. “У нас есть ИИ-убийца?





“В данный момент нет, - ответила Хелен.





Вонг внимательно посмотрел на нее. “И что это значит?





“Это значит - Хелен заколебалась. “У нас нет ИИ-убийцы. Но если мы когда-нибудь это сделаем, то будем винить только самих себя. ИИ-это не проблема, Коммандер. Проблема в том ... - она снова замолчала. Проблема в том, что мы действительно не понимаем, что, черт возьми, мы делаем, и даже если бы я сказал это миллион раз миллионом разных способов, никто никогда не поверил бы мне.





И потом, люди учатся на практике, напомнила она себе. Фелипе, конечно же, так и сделал.





“Во-первых, тебе нужно написать Фелипе официальное извинение, - сказала Хелен. “Это может показаться странным, но потерпи немного.

 

 

 

 

Copyright © Pat Cadigan

Вернуться на страницу выбора

К СПИСКУ

 

 

 

 

 

 

 

 

 

ДРУГИЕ РАССКАЗЫ:

 

 

 

«Последний заплыв Такитора»

 

 

 

«Селфи»

 

 

 

«Миссис Соренсен и снежный человек»

 

 

 

«Шанс планеты»

 

 

 

«Скин в игре»