Президент группы компаний InfoWatch
Риски информационной безопасности
Основу современной цифровизации составляют большие данные, собранные из разных источников и проанализированные различными технологиями наподобие искусственного интеллекта. Не секрет, что данные подвержены различным ИТ-рискам — хищение, компрометация, искажение, уничтожение. На сегодняшний день человечество не придумало, как нивелировать эти риски, и не похоже, что что-то появится в ближайшей перспективе.
Чем больше данных в «цифре», тем больше этих ИТ-рисков. Даже если цифровая система построена с их учетом, это не дает гарантии того, что в какой-то момент все данные не окажутся доступны мошенникам (кто-то же украл у граждан РФ 200 млрд руб. в 2024 г., использовав в том числе украденные персональные данные) или не подвергнутся уничтожению в результате атаки недружественного государства. Или что сисадмин не вытащит ценные данные, пользуясь портом, который сам специально не закрыл (а потом не сотрет логи доступа, заметая следы).
Иностранные платформы
Вышеназванные риски особенно опасны, так как до сих пор значительная часть используемых нами ИТ-систем иностранного производства. Планшеты и смартфоны, через которые граждане осуществляют доступ в госсистемы, — иностранные. Сервера — иностранные. Маршрутизаторы интернет-сетей — иностранные. Большей частью эти технологии — из недружественных государств. Что означает — закладки, возможность манипулирования информацией, а главное — риск одномоментного отключения извне связи, доступа, приложений в случае горячей войны. А то и взрывов устройств, как это произошло с устройствами в Ливане, которые были закуплены Хезболлой, как «надежная» и «защищенная» технология в противовес ненадежным смартфонам.
От перехвата данных не спасут «наложенные» средства инфобезопасности и доверенное ПО российского происхождения, поскольку перехват данных может вестись ИТ-платформой (сервером, ноутбуком, смартфоном) на аппаратном уровне.
Чиновник-робот
В выступлениях звучало, что цифровизация сделает чиновников независимыми, исключит коррупцию и личную заинтересованность. Это хорошее намерение. Но в реальности чиновник — не робот. И электронный кнут цифровизации неминуемо приведет к снижению ценности работы чиновников, к демотивации и унынию, сделает саму профессию непрестижной. Кому понравится, когда тобой управляет электронный болван с ИИ? И когда этот электронный болван определяет приоритеты твоей работы по совершенно непонятно кем написанному алгоритму.
Прижимать бизнес чиновниками при помощи электронных кнутов тоже затея неочевидной практической ценности. В прошлом году на форуме «Кибербезопасность финансов» приглашенная дама из Министерства сельского хозяйства с восторгом рассказывала про систему ИИ, после внедрения которой число инцидентов выросло в 90 тыс. раз (девяносто тысяч — это не описка!). Чиновница посетовала, что у них не хватает рук, чтобы наказать миллионы новых нарушителей, и пожелала, чтобы искусственному интеллекту дали бы право выносить наказания автоматически. То, что это провал, что система попросту не работает, что такой катастрофический рост инцидентов нереалистичен, — чиновнице в голову не пришло.
Инструмент отчуждения и снятия ответственности
Самим гражданам перспектива общаться с ИИ вместо живого человека — при обращении к государству, чиновнику, депутату, суду — вряд покажется радужной. За примерами далеко ходить не надо. Большинство банков и многие публичные учреждения для общения с клиентами стали использовать чат-боты. И вместо улучшения обслуживания, чтобы получить мало-мальски разумный ответ, граждане должны часами сидеть на телефоне, отвечая на вопросы бота или пытаясь добиться ответа живого оператора. Электронный болван отлично подходит, чтобы быстренько отказать гражданину или ответить на вопрос, который тот не задавал. Но совершенно не подходит для решения сложных проблем, которых в случае государственных сервисов значительно больше, чем в банках.
При этом системы чат-ботов при помощи того же ИИ рисуют владельцам красивую статистику по числу обработанных обращений пользователей, которым они якобы помогли.
Конечно, чат-боты прекрасно решают поставленную им владельцами сервисов задачу снизить нагрузку на контакт-центр, на живых операторов. Но это не та задача, которую должно ставить общество госсервисам и чиновникам. Нужно ли нам дальнейшее отчуждение чиновника от граждан? Если да, то зачем? Чтобы снять с него ответственность, оградить от населения? Или чтобы нельзя было спросить с чиновника, отгороженного от народа стеной ИИ, — а с ИИ какой спрос?
Что решит ИИ
ИИ у нас практически фетиш. Везде, куда приходишь последние 3 года, только и слышишь массовые камлания жрецов прогресса о пришествии ИИ. «Технология, изменившая мир (человечество)», «ИИ решит все проблемы», «ИИ полностью изменит рабочий ландшафт», «уже через 5-7 лет программисты (юристы, финансисты — нужное подчеркнуть) будут не нужны — всё будет делать ИИ»!
При этом под ИИ чаще всего имеются в виду технологии, основанные на глубоких нейронных сетях (иначе эти технологии называются «глубокое машинное обучение»). Эти технологии отличаются тем, что принципиально «глючат», то есть периодически выдают странные решения, противоречащие реальности и здравому смыслу. Например, много пальцев на картинах, «написанных» ИИ; неожиданно глупые высказывания в тексте; назначение фактом того, что фактом не является и т.д.
Разработчики ИИ сами не могут предсказать, когда система вдруг выдаст «глюк», и объяснить, по какой причине система выдала то или иное решение (высказывание, образ). Эта проблема известна среди специалистов как проблема «черного ящика ИИ». Специалисты бьются над решением проблемы черного ящика, создавая «доказательный ИИ», «подсистемы объяснений», «рассуждательные режимы работы», но это не снимает проблемы непредсказуемости; более того, часто ИИ учат убедительно обосновывать любое неверное утверждение, число которых от этого не снижается.
В этих условиях доверять искусственному интеллекту решения в ответственных областях или использовать для критических применений (жизненные показатели в медицине, управление регионом или государством, вынесение судебных решений и пр.) нельзя. Апологеты ИИ на это возражают тем, что люди ошибаются чаще. Да, в некоторых случаях это верно. Но только человека можно наказать, он может нести ответственность, а ИИ никакой ответственности не несет. Кому предъявлять претензии — OpenAI?
Это особенно опасно, потому что привыкшие к ИИ-подпорке люди теряют бдительность и сами перестают контролировать процесс.
Не стоит молиться на ИИ и еще по одной причине. Согласно известной кривой хайпа Гартнера, инновационная технология проходит некоторые стадии зрелости, среди которых хайп (когда все верят, что вот эта технология решит все проблемы человечества), потом пропасть разочарования, а потом (если повезет и технология не останется лежать в пропасти, как 3D-телевидение) выход на плато продуктивности, где технология решает конкретные задачи. Всего 5 лет назад мы переживали хайп технологии блокчейн, которая тоже должна была решить все проблемы и которую включили во все госпрограммы, а потом, когда блокчейн не оправдал ожиданий, его по возможности незаметно оттуда выковыривали. Генеративный ИИ сейчас на пике хайпа. Может, всё-таки подождать, пока он выйдет на плато продуктивности?
Необходимые условия цифровизации
Ну и наконец, ИИ да и вся цифровизация работают только при наличии двух вещей — электричества и доступа в интернет.
Уже сейчас, в связи с постоянной атакой вражеских БПЛА на регионы страны, интернет во многих регионах отключают: ночью — регулярно, а днем — время от времени. Постоянный доступ к электричеству тоже под вопросом, учитывая участившиеся атаки противника на инфраструктуру. А кроме того, бывают отказы оборудования, сбои электронных систем и пр.
Как в таком случае пользоваться электронными услугами и сервисами? Как получить удаленный доступ к документу? Заявленная на сессии одним из чиновников цель «отказа от бумаги к 2030 году», на мой взгляд, является просто диверсией. Если мы достигнем этой непонятной цели, то в случае кризиса превратимся в слепоглухонемых. Это точно то, чего мы хотим достичь за гигантские государственные деньги напряжением всего государственного организма и общества?
Альтернативная цифровизация
Рискну предложить несколько постулатов, которые должны учитываться для того, чтобы не отменять прогресс, но при это не подпадать под гигантские риски.
- Цифровизация не должна осуществляться ради самой цифровизации, ради красного словца и потому что это модно. Цифровизация должна быть умной, то есть вестись осторожно и с учетом всех возможных рисков.
- Нельзя отказываться от возможности использовать бумажные носители. Древние египтяне писали на папирусе, и мы сейчас при желании эти папирусы можем читать спустя четыре тысячи лет. В отличие, например, от 3,5-дюймовых дискет и цифровых видеокассет конца 20-го века, которые прочесть уже практически не на чем. Давайте помнить про папирусы!
- Любая информационная система, которая внедряется, обязательно должна быть жестко и неразрывно связана с информационной безопасностью. Каждая внедряемая ИТ-система должна анализироваться на предмет ИТ-рисков. Каждая госпрограмма цифровизации должна иметь обязательный раздел рисков. И эти риски должны быть надлежащим образом купированы до того, как система (программа, сервис) пойдет в эксплуатацию.
- Наконец, не стоит возлагать излишних надежд на ИИ. Технологиям ИИ по большому счету около 60 лет. И они переживали пики и падения, сейчас идет очередной, уже четвертый по счету, пик. Давайте дождемся выравнивания информационного фона, прежде чем окончательно констатировать победу ИИ над человеческим разумом. До сих пор человеческий разум оказывался хитрее.
В заключение приведу один показательный случай, который произошел со мной на следующий день после сессии по цифровизации госуправления — я должна была выступать на завтраке с министром цифрового развития на тему национальных чемпионов. Когда в 8:10 я подошла к турникетам ЦИПРа, то увидела там человек 15, которые терпеливо ждали, пока починят систему прохода, которая почему-то не работала. Я обратилась к девушке, которая выглядела главной:
— Девушка, вот мой бедж для прохода на форум. Я готова также предъявить паспорт, что это я. У меня завтрак с министром, пропустите, пожалуйста.
— Нет, — ответила девушка, — мы не можем, нам не разрешают. Пропуск осуществляется только через систему.
— Но система же не работает! А я — вот перед вами, с беджем и паспортом.
— Нет, только через систему.
Человек, управляемый роботом, и сам немножко становится роботом и теряет способность критического мышления. Может, нам стоит над этим задуматься, пока мы еще являемся людьми?
Больше новостей читайте в нашем телеграм-канале @expert_mag
