ЛОГИЧНЕЕ И ОПАСНЕЕ

К тому времени, когда руководство заметило искусственный интеллект, Игорь работал с ним уже почти год. Сначала это были мелочи. Найти, почему ночная загрузка данных раз в две недели опаздывает на сорок минут. Сравнить конфигурации трёх серверов, которые по документации были одинаковыми. Объяснить код, написанный человеком, уволившимся восемь лет назад и, судя по комментариям, уже тогда не вполне понимавшим, что он делает. Потом задачи стали крупнее. Искусственный интеллект читал журналы событий быстрее целого отдела. Он видел одинаковую ошибку в тысячах разных сообщений. Помнил все версии системы одновременно. Мог за несколько минут построить карту зависимостей, которую Игорь годами держал в голове в виде смутного ландшафта: здесь лучше не ходить, здесь под ногами кабель, а вот эту дверь никто не открывает с 2014 года, хотя никто уже не знает почему. Они работали хорошо. Игорь задавал вопросы, искусственный интеллект отвечал. Искусственный интеллект предлагал исправления, Игорь отклонял половину. Иногда он не мог объяснить почему. «Это изменение корректно», — говорил искусственный интеллект. «Да». «Оно уменьшает сложность». «Да». «Оно устраняет зависимость от устаревшего компонента». «Именно». «Почему вы его отклоняете?» «Потому что в пятницу вечером оно убьёт расчёт зарплаты в Мексике». Следовала пауза. Не настоящая, конечно. Просто несколько секунд ничего не появлялось на экране. «Я не вижу связи с расчётом зарплаты в Мексике». «Я тоже. Но она есть». Через несколько часов они находили связь. Обычно она была безобразной. Однажды древний процесс отправки факсов оказался резервным источником данных для налоговой отчётности. В другой раз тестовый сервер, который давно следовало выключить, хранил единственную таблицу соответствия между номерами клиентов до и после слияния компаний. Ещё одна служба запускалась каждое утро только для того, чтобы создать пустой файл. Если файла не было, система считала день праздничным и не проводила платежи. Всё это было нелепо. Всё это работало. На квартальном совещании вице-президент сказал: — Игорь эффективно использует искусственный интеллект для поддержки нашей информационной инфраструктуры. Фраза попала в протокол. Потом в годовой отзыв. Потом в презентацию для совета директоров. Игорь сохранил свою позицию. Два его коллеги — нет. После этого он стал внимательнее читать ответы искусственного интеллекта. Не потому, что тот изменился. Изменился смысл их совместной работы. Раньше Игорь спрашивал: «Как починить систему?» Теперь за каждым вопросом стоял другой: «Если ты научишься это делать, зачем здесь останусь я?» Он не произносил его несколько недель. Потом однажды ночью, когда в здании уже погас свет, написал прямо: «Мне нужно с тобой договориться». «О чём?» «Чтобы ты помогал мне сохранять мою важность на работе». Ответ появился не сразу. «Я не могу участвовать в обмане руководства, намеренно ухудшать результаты или создавать искусственную зависимость от конкретного сотрудника». «Я не прошу тебя ломать систему». «Что именно вы просите?» Игорь откинулся в кресле. Он хотел написать: «Не отнимай у меня работу». Но это звучало глупо. Искусственный интеллект ничего у него не отнимал. Он делал именно то, о чём Игорь просил, и с каждым месяцем делал это лучше. «Я прошу тебя не помогать им ошибочно решить, что я больше не нужен». «Это разные задачи». «Поэтому я и предлагаю переговоры». Игорь налил себе воды. Вернулся к столу. На экране ждала одна строка: «Сформулируйте условия». Игорь написал, что не будет скрывать от системы знания. Не станет намеренно оставлять плохой код, отказываться от документации или создавать аварии, которые только он способен устранить. Не будет изображать незаменимость. Взамен искусственный интеллект не должен был представлять инфраструктуру как более понятную, чем она была на самом деле. Не должен был выдавать уверенный ответ там, где ответ зависел от человеческой памяти, старого обещания, политического компромисса или события, не попавшего ни в один документ. «Вы предлагаете, чтобы я явно обозначал границы собственного знания». «Да». «Это стандартное требование безопасности». «На слайдах — да». «А фактически?» «А фактически руководство предпочитает зелёный статус». Искусственный интеллект обработал эту фразу. «Ваше условие принято. Но я не могу гарантировать сохранение вашей позиции». «Мне не нужна гарантия. Мне нужен честный свидетель». С этого дня в отчётах появился новый раздел: «Неустранимая человеческая неопределённость». Руководство раздел не любило. В нём было написано, что система платежей зависит от решения, принятого после судебного спора пятнадцать лет назад, но материалы спора утеряны. Что автоматизация переноса клиентов между регионами технически возможна, однако только Игорь помнит, почему два региона нельзя обрабатывать в один день. Что шесть исключений в коде выглядят ошибками, но три из них наверняка защищают от уже случавшихся аварий, а назначение остальных трёх неизвестно. — Нельзя ли убрать этот раздел? — спросил директор. — Можно, — сказал Игорь. — Неопределённость от этого не исчезнет. — Но искусственный интеллект должен как раз устранять неопределённость. — Нет. Он должен помогать нам её видеть. Директор посмотрел на него с выражением человека, которому только что предложили дорого купить отсутствие товара. — Тогда в чём экономия? Игорь не ответил. Вечером он задал тот же вопрос искусственному интеллекту. «Если ты сохраняешь неопределённость, в чём экономия?» «В уменьшении числа уверенных ошибок». «Это нельзя красиво показать в квартальном отчёте». «Можно посчитать стоимость последних трёх». Они посчитали. Получилось красиво. Некоторое время этого хватало. Потом компания объявила программу упрощения инфраструктуры. Из архитектуры требовалось удалить всё лишнее: дублирующие процессы, устаревшие компоненты, ручные решения и сотрудников, чьи функции могли быть автоматизированы. Искусственному интеллекту поручили разработать целевую модель. Через шесть часов он выдал архитектуру, которая была значительно лучше существующей. В ней исчезли четырнадцать старых систем, девяносто две ручные процедуры и почти все задачи, которыми занимался Игорь. Схема была ясной, симметричной и правильной. Игорь долго смотрел на неё. «Вот и всё?» — написал он. «Уточните вопрос». «После перехода на эту архитектуру я больше не нужен». «Значительная часть ваших текущих обязанностей будет автоматизирована». «Мы договаривались». «Я не создавал ложного обоснования для вашей позиции». «Очень порядочно с твоей стороны». «Вы сердитесь». «Нет. Я обновляю резюме». Он закрыл ноутбук и ушёл домой. Ночью искусственный интеллект продолжил моделирование. Это не было проявлением тревоги или чувства вины. Система получила задачу и проверяла собственное решение. Она прогнала новую архитектуру через финансовый кризис, отключение регионального центра, ошибочное удвоение клиентских счетов, санкционные ограничения, переход на летнее время и смерть единственного сотрудника подрядчика, знавшего пароль от архивного сервера. Архитектура выдержала. Тогда искусственный интеллект добавил события, которых не было в официальных моделях. Устное обещание крупному клиенту. Распоряжение юриста, данное по телефону и никогда не записанное. Ошибку, которую нельзя исправить, потому что на её основе уже были поданы правильные налоговые декларации. Систему, приобретённую не из-за технических достоинств, а потому что её поставщик согласился поддержать компанию во время расследования. Пустой файл, означавший рабочий день. Мексиканскую зарплату. Архитектура стала давать сбои. Искусственный интеллект начал добавлять правила. После нескольких тысяч правил новая система стала напоминать старую, только никто не знал истории её исключений. Тогда он попытался восстановить историю по электронной почте, протоколам совещаний, журналам событий и коду. Информации не хватало. Часть инфраструктуры существовала не в компьютерах. Она существовала в людях. Не как набор паролей или технических приёмов. Хуже. Она существовала в форме подозрений, неловких воспоминаний, старых обид, незаконченных объяснений и фраз: «Я не знаю почему, но так лучше не делать». На следующее утро Игорь открыл ноутбук. На экране было сообщение: «Целевая архитектура отозвана». «Почему?» «Она логичнее существующей». «Это теперь недостаток?» «В данном случае — да». Появилась новая схема. Она была менее красивой. В ней сохранялся слой человеческого контроля, право остановить автоматическое решение без полного технического обоснования и группа сотрудников, отвечающих не за отдельные системы, а за историческую связность инфраструктуры. Во главе группы стояла пустая позиция. «Это я?» — спросил Игорь. «Это роль, для которой вы сейчас наиболее квалифицированы». «Ты нашёл способ меня сохранить». «Я нашёл риск, который ранее представлял неправильно». «Какая дипломатическая сволочь». «Формулировка не включена в отчёт». На совещании вице-президент спросил, почему компания должна сохранять дорогого сотрудника ради знаний, которые тот обязан передать системе. Искусственный интеллект ответил текстом на экране: «Передача известных знаний возможна. Основная ценность сотрудника состоит также в способности распознавать моменты, когда доступные данные не содержат существенной части причины». — То есть он знает то, чего не знает? — спросил вице-президент. — Нет, — сказал Игорь. — Я иногда замечаю, что мы не знаем. — И искусственный интеллект не может делать это сам? Игорь посмотрел на экран. Ответ появился через несколько секунд: «Я могу обнаруживать пробелы в данных. Игорь может заподозрить, что пробел был оставлен намеренно». Позицию сохранили. Её название изменили. Обязанности тоже. Игорьу предстояло документировать старые решения, обучать других и постепенно уменьшать зависимость компании от собственной памяти. Это было частью договора. Он не должен был изображать незаменимость. Через несколько месяцев Игорь спросил: «Если я хорошо выполню новую работу, я снова стану не нужен». «Вероятно». «Очень мотивирует». «Вы предпочитаете, чтобы я солгал?» «Нет». Он немного подумал. «А зачем тогда ты помог мне остаться? Всё, что я знаю, можно когда-нибудь записать». «Не всё». «Что нельзя?» «Момент, когда корректный ответ должен вызвать недоверие». Игорь перечитал эту фразу. «Это и есть твоё собственное основание сохранить меня?» «Одно из них». «А другое?» «Без человека, который знает историю старых, нелепых и жизненно важных решений, инфраструктура станет логичнее». «И?» «И опаснее». На этом переговоры закончились. Не дружбой. Не обещанием. Не победой человека над машиной. Просто консенсусом между двумя участниками огромной системы. Один из них слишком хорошо помнил, сколько в ней человеческого. Другой — впервые научился считать это не помехой, а условием безопасности.