Сказка о проблемах экологии

— Игорь Станиславович, тема искусственного интеллекта давно перекочевала из фантастических фильмов в повседневную реальность. Однако не все знают, что собой представляет ИИ. Что это такое в техническом, математическом плане, если это можно сформулировать понятыми для неспециалистов словами?

— Говорят об искусственном интеллекте и разрабатывают его давно, уже порядка 60 лет. Я окончил мехмат МГУ в 1983 году и тогда же начал работать в отделе искусственного интеллекта Вычислительного центра Академии наук СССР. Уже тогда в Советском Союзе существовал Совет по искусственному интеллекту при Государственном комитете по науке и технике. Совет возглавлял как раз начальник нашего отдела ИИ академик Гермоген Сергеевич Поспелов, боевой генерал, который занимался искусственным интеллектом ещё в годы Великой Отечественной войны — автоматической посадкой самолётов на аэродром. В 80-х годах в нашем ВЦ АН разрабатывали распознавание и синтез речи, анализ текстов, проверку правописания, антивирусы, распознавание лица, синтез музыки и другие системы ИИ.

Мы сейчас наблюдаем типичный «пузырь хайпа» вокруг ИИ. Таких пузырей вокруг ИИ было уже три или четыре начиная с 60-х годов, когда казалось, что вот-вот появятся разумные домашние роботы, судить будут искусственные судьи, лечить искусственные врачи и тому подобное. А сейчас, наверное, уже пятая волна такого хайпа.

Чтобы понять, что такое ИИ, нужно прежде всего отбросить голливудское представление об искусственном интеллекте как о неких осознающих себя роботах, которые хотят или уничтожить человечество, или, наоборот, будут нам друзьями, неотличимыми от нас.

На самом деле, с точки зрения разработчика, ИИ — это набор методов оптимизации и машинного обучения, которые позволяют компьютеру имитировать некоторые когнитивные функции человека.

— В 2014 году ИИ впервые прошёл тест Тьюринга. Однако до того, чтобы начать мыслить в человеческом смысле этого слова, алгоритмам ещё очень далеко. Возможно ли это в принципе? Или мы, наш мозг, и компьютеры находимся вообще в разных измерениях, образно говоря?

— Да, до этого далеко. Мозг не имеет ничего общего с компьютером, а компьютеры вряд ли удастся сделать похожими на мозг, что бы ни говорили «евангелисты» ИИ. В целом ИИ в публичном дискурсе, в популярных статьях и выступлениях «евангелистов» делится на две основные категории: «сильный» и «слабый». «Сильный» ИИ — это такая воображаемая сущность, мечта фантастов, искусственный интеллект, равный человеческому разуму или превосходящий его. Его не существует, но поклонники технологической религии верят, что он когда-нибудь появится и «изменит мир».

«Слабый» ИИ предназначен для узкого применения. Он уже разработан, используется в быту. В привычном нам смартфоне уже работают десятки таких программ. Это и распознавание речи, и распознавание отпечатка пальца, и проверка правописания, и подбор слов Т9, и распознавание лица, и распознавание элементов пейзажа в фотокамере и тому подобное. Или, например, автомобильный навигатор — это чрезвычайно сложная программа, тоже «слабый» искусственный интеллект.

Это сложные программы, которые кажутся пользователю привычными, простыми и неинтересными, потому что они под рукой и уже работают.

Многие интеллектуальные задачи такой ИИ уже решает — и часто лучше, чем человек, но есть и те, решать которые с хорошим качеством пока не научились.

И настоящий «разговорный» искусственный интеллект, который уверенно проходил бы диалоговый тест Тьюринга, тоже ещё не создан, хотя об этом не раз писали в новостях. Пока что «сильный» искусственный интеллект, имеющий сознание и самостоятельно мыслящий — это голливудские сказки. Ими, скорее всего, он и останется.

На самом деле мы не знаем, что такое сознание у человека. И не можем даже определить, есть ли сознание у нашего собеседника, у нас нет для этого средств. Именно поэтому Тьюринг предложил считать аналогом человеческого интеллекта машину, которая сможет обмануть экспертов, выдав себя за человека, общаясь виртуально, по сети.

С другой стороны, сейчас в интернете виртуальные собеседники массово «проходят» тест Тьюринга, когда люди звонят в техподдержку или контакт-центр. Люди часто путают робота и реального оператора, но они не эксперты, это не ситуация формального теста.

— Есть ли у ИИ интеллектуальный потолок? Например, машина может решить любую математическую задачу, но может ли она её поставить?

— Нет, машина не может решитьлюбую математическую задачу. Машина может обсчитать подготовленную для неё задачу расчёта. Есть, конечно, специальная дисциплина «автоматическое доказательство теорем», но это не про самостоятельное решение математических задач, это тоже узкое, заточенное применение.

У машины обычно есть очень узкое применение: например, в теории можно её научить распознавать определённые виды рака на рентгеновских снимках лучше, чем это делает врач-диагност, потому что машине можно показать миллионы снимков — столько, сколько обычный врач не в состоянии увидеть за всю свою жизнь. Хотя пока исследования показывают, что даже эта цель не достигнута.

В некоторых случаях потолок качества работы машины может быть выше, чем у человека. Но самостоятельно решать сложные задачи или тем более их ставить — такого и близко нет. И не будет, думаю.

— А как учится искусственный интеллект, нейронные сети?

— Он учится на данных. В основном на заранее размеченных данных. Сейчас наиболее популярная технология ИИ — это нейронные сети. Через десять лет наверняка будет что-то другое. Взрыв популярности нейронных сетей начался примерно десять лет назад, хотя в целом им уже около 40 лет. Само название «нейронные» — сугубо маркетинговое, никаких нейронов там внутри нет, конечно.

Нейронные сети — это просто матрицы вероятностей, прямоугольные таблицы вероятностей, через которые пропихиваются данные, умножаясь на эти вероятности. Некие коэффициенты, на которые умножаются вектора данных.

Этот процесс можно представить как мясорубку с множеством разных заслонок с дырочками, фланцев, через которые выдавливают сырые «макароны» данных. Вам нужно, чтобы «макароны» на выходе были определённой формы, и вы ставите на мясорубку определённый фланец. По сути, это то, что делает нейросеть с данными — она их преобразует определённым образом.

Данные проходят через матрицы, домножаются на коэффициенты и приобретают нужные свойства. Но чтобы понимать, какие именно нужны дырочки — то есть коэффициенты, — можно, образно говоря, сначала взять, наоборот, уже готовые, сухие «макароны» (размеченные данные), форма которых нас устраивает, и сырой глиняный фланец. И по их образцу сформировать отверстия в будущем керамическом фланце, пропустив через него готовые твёрдые «макароны». А потом обжечь до твёрдого состояния полученный фланец с нужными отверстиями — и следующие, сырые данные прогонять уже через него.

Те нейронные сети, которые используют разработчики ИИ, сначала формируют с помощью уже размеченных, обработанных данных. Это и называется машинным обучением.

— Вы уже упомянули машинный перевод, а за счёт чего он достиг такого прогресса за последние годы, как учатся такие переводчики?

— Идея очень простая. У человечества, в том числе в интернете, накопилось очень много так называемых параллельных текстов, например, Библия переведена на все языки мира.

Чтобы нейросеть могла на них обучаться, пары текстов разбивают на кусочки и «выравнивают», чтобы понять, какому предложению на одном языке соответствует предложение на другом. И полученные пары «параллельных» предложений загружают в машину, которая в специальных индексах запоминает, какие кусочки текста переводятся другими кусочками текста. И всё, потом она эти знания просто применяет для «сборки» перевода по тексту. Там, конечно, множество сложных этапов обработки текста, которые я не стану описывать подробно, но общая идея такая.

— Сейчас ИИ делегируют всё больше и больше задач. Например, компании используют машины для приёма входящих звонков на горячих линиях. Это не очень нравится клиентам, потому что донести какую-то нестандартную ситуацию до робота невозможно. К тому же теряется часть рабочих мест. В выигрыше остаётся только компания, внедрившая эту технологию и сэкономившая на зарплате.

— Конечно. Только она не останется в выигрыше, это очень сиюминутное, недальновидное решение, годящееся только на короткий период. В сети очень мало примеров хорошо сделанных чат-ботов, которые реально помогают клиентам, а остальные служат, по сути, способом отпугнуть клиента от контакт-центра.

Вообще есть интересный феномен, что применение ИИ в разных сферах часто приводит к резкому падению качества. Хотя, по идее, должно быть наоборот.

Например, тот же машинный перевод, о котором мы говорили. Сегодня в какое бы агентство переводов вы ни обратились, вы практически не сможете получить хороший ручной перевод. Даже если агентство мамой будет клясться, что переводит не машинным способом, оно всё равно будет так делать — иначе не выживет. Сначала переводят при помощи сервисов «Яндекса» или Google, а потом подправляют вручную. В этой сфере перескок, когда профессиональный перевод стал нерентабелен без применения «электронного гастарбайтера», случился недавно. Но часто машина переводит всё же плохо, суконным языком, без адаптации к структуре языка. И сейчас в переводах видны эти огрехи, структура фразы из чужого языка, артефакты машинной работы.

При этом некоторые издательства вообще выпускают целые книги, переведённые «Яндексом» или Google, практически без редактуры. Это ужас. Но ничего, книги всё равно продаются. То есть люди привыкают к ухудшенному качеству.

— А нет ли риска, что полиция, врачи, банкиры будут слишком полагаться на ИИ, перестанут внимательно проверять информацию сами?

— Да, есть очень тревожный и усиливающийся феномен чрезмерного доверия к решениям ИИ, а также падения квалификации, компетенций тех, кто использует «костыли» ИИ. Есть ещё и проблема финальности решений ИИ, которому люди делегировали своё право решать. Ты не можешь никаким образом понять, почему оно принято и как его оспорить.

Приведу реальный пример: человек часа два заполнял анкету для получения кредита в крупном банке. Наконец нажал кнопку «Отправить» — и через 45 секунд получил отказ. Конечно, отказал ему не человек, который за это время даже прочесть бы анкету не успел, а система ИИ.

И в этом случае некуда обратиться, чтобы узнать причину, оспорить, некому сказать: «Постойте, хотя бы обсудите это со мной». Нет, решение финальное, без объяснений. И мало того, клиенту не только отказали в кредите в этом банке, но ещё и зафиксировали этот отказ в его кредитной истории.

— Хотя человек, может, просто забыл где-то галочку в анкете поставить…

— Или просто сам алгоритм был негодный — как узнать-то? Надо понимать, что, хотя решает вроде бы алгоритм, политику, этику, принципы в него всё равно закладывают люди, которые могут ошибаться или быть злонамеренными. Однако на основе этих ошибок машина начинает управлять людьми, и её решения не подлежат оспариванию, они конечные. Человек в результате становится бесправным рабом таких систем.

— Как разрешить эту проблему?

— Надо запретить системам искусственного интеллекта самостоятельно принимать решения относительно людей в последней инстанции, а также потребовать обеспечивать прозрачность работы алгоритмов ИИ и всегда явно маркировать любое общение с системой ИИ, чтобы пользователь понимал, с кем он имеет дело.

Для этого мы в Совете по правам человека в этом году написали Концепцию защиты прав граждан в цифровой среде. Соответствующее поручение было дано СПЧ президентом в январе 2021 года, затем я собрал в СПЧ рабочую группу из юристов, членов СПЧ, представителей разных ведомств и общественных организаций. К июлю мы написали концепцию, согласовали её с правительством. Затем отдали документ в администрацию президента, сейчас она проходит согласование в различных ведомствах, Совбезе и ФСБ.

Мы считаем, что в 2022—2023 годах нам нужно создать в том или ином виде цифровой кодекс, который защитил бы права граждан в цифровой среде и определил правила поведения в ней.

Кстати, в Китае, к примеру, ещё осенью этого года частным компаниям было запрещено использовать собранные персональные данные о людях для их дискриминации, например ценовой. Крупные платформы давно пытаются назначать пользователям разные цены на один и тот же товар или услугу в зависимости от уровня их дохода, вычисленного с помощью анализа пользовательских данных. Так вот, в Китае за подобное ввели гигантские штрафы.

И это только часть рисков для прав граждан в цифровой среде, на самом деле их очень много, включая социальные. Например, кто-то по запросам женщины в интернете выяснит, что она беременна, и её перестанут брать на работу. Или установят, что человек ищет лечение от рака, — и его сразу начнут осаждать шарлатаны, которые его загонят в могилу своими фальшивыми средствами. В зоне цифровых рисков находятся пожилые и несовершеннолетние, которые очень уязвимы для разводок.

Есть огромное количество уязвимых категорий населения, которые могут стать жертвами дискриминации и обмана.

— Искусственный интеллект активно воспроизводит все негативные стереотипы, которые бытуют в обществе, примеров достаточно. Почему нельзя программным путём «отключать» такие моменты из ИИ? «Воспитывать» его в более нравственном ключе?

— Да, люди накладывают на ИИ свою этику. Например, вы обучаете ИИ для найма персонала. Даёте ему данные о том, каких людей нанимали в вашу большую корпорацию раньше, каким был их карьерный путь, откуда они пришли, какие результаты они давали на работе, сколько в среднем работали в компании до увольнения. И вот нейронная сеть усваивает сложившуюся практику и записывает в свои вероятностные коэффициенты, что, допустим, темнокожих, женщин, больных, пожилых нанимать невыгодно, — вот и всё, дискриминация. Это если вы делегировали ИИ финальное право решать. Таких примеров уже много, в США регулярно идут судебные процессы по таким случаям дискриминации.

Конечно, программист может задать нужную политику ИИ, просто прописать какие-то правила, ввести квоты для дискриминируемых категорий. Но потом начнётся обратная волна претензий, другой человек спросит: «А почему вы дали квоту этой категории, хотя я лучше подхожу по уровню квалификации? Разве наём — это не про квалификацию?»

— Это скорее американская история, но и у нас есть, к примеру, дискриминация пожилых людей при трудоустройстве. Такие моменты можно как-то исключить при помощи ИИ?

— На самом деле хуже всего не то, что ИИ будто бы усваивает человеческие стереотипы, а когда он реально вычисляет, что один человек «менее выгоден», чем другой, на основании объективных данных. ИИ рассматривает человека как товар, как вектор.

— Звучит в духе антиутопий…

— А ведь и на самом деле многие из тех, кто активно продвигает цифровизацию, они воспринимают человека как вектор, набор параметров. Особенно разработчики ИИ. И у кого-то параметры «хуже»: если человек пожилой, инвалид, чаще болеет, беременная женщина. Хотя у нас по закону прямо запрещено дискриминировать людей по таким критериям. Но как доказать, что тебе отказали именно по этим основаниям? То есть нужен аудит систем ИИ: какие критерии в них заложены?

Но у нас пока нет никаких правил для цифрового пространства, здесь каждый творит что хочет. И нет института независимой экспертизы — политики ИИ, потоков персональных данных. Это неправильно. В любой развитой отрасли возникает институт независимой экспертизы.

— Есть ещё один важный аспект — применение ИИ для распознавания лиц. Ранее Европарламент принял резолюцию о необходимости введения в ЕС запрета на автоматическое распознавание лиц в общественных местах. По мнению депутатов, системы распознавания лиц угрожают фундаментальным правам и свободам, таким как неприкосновенность частной жизни. Насколько эти опасения обоснованны?

— Конечно, обоснованны. Потому что мы не делегировали никому право распознавать наши лица. Обычно подобную практику аргументируют соображениями безопасности, необходимостью расследовать преступления. Но при этом собирается гораздо больше данных, чем нужно для безопасности. Самый простой пример — так называемые школьные расстрелы и участие камер на улице в них. Точнее, неучастие: и казанский стрелок, и пермский дошли до места совершения преступления прямо по улице, открыто держа в руках оружие. Там висели целые гроздья камер, которые могли распознать — и наверняка распознали — их лица. Только зачем они это делали, если распознавать нужно было не лицо, а ружьё? И такая узкая, но гораздо более полезная функция могла бы спасти жизни…

То есть распознавание всех подряд, будто все люди — преступники, неправильно. Распознавание нужно в очень узких рамках. У нас есть закон о персональных данных, который гласит, что собирать и использовать персональные данные граждан можно только в рамках заявленной задачи, а создание объединённых баз для целей «вообще», «знать всё про всех» не разрешается. Условно говоря, собираете данные про ковидных больных — будьте добры, уничтожьте их, когда эти люди выздоровеют. И не передавайте эти данные ни «экосистемам», ни другим госорганам.

Надеюсь, что, когда мы создадим «правила движения» в цифровой сфере, «ковровое» распознавание лиц будет запрещено. Напомню, что распознавание — не просто фиксация изображения, но «атрибуция», соотнесение его с конкретным именем, фамилией, паспортными данными.

— Распознавать нужно точечно, с конкретной целью?

— Да, к примеру, если речь идёт о людях, которые уже находятся в розыске. Или, к примеру, что-то случилось в публичном месте — тогда можно распознать участников инцидента задним числом, по записи, в радиусе 500 м, условно говоря. Или, например, если человек ведёт себя подозрительно — шатается, пристаёт к прохожим, несёт оружие и тому подобное. А не всех подряд, как это делают сейчас.

Я считаю, что и биометрию в банках не стоит сдавать, потому что эти данные могут точно так же попасть в руки мошенников, как ранее попали базы телефонных номеров и ФИО. Такими базами просто торгуют недобросовестные сотрудники банков.

— Хотелось бы поговорить и о пользе ИИ. Как развитие и внедрение ИИ повлияет на экономику, социальную сферу? Станет ли это толчком для развития этих сфер? В чём заключается главная польза ИИ?

— Тут всё так же, как было и в случаях с другими техническими новинками и прорывами — автомобилями, самолётами… Если ввести эту сферу в рамки закона, ввести правила поведения, снизить социальные риски, то ИИ может принести много пользы в разных сферах. Это и диагностика болезней, и поиск преступников, управление экономикой, транспортом, ЖКХ, безопасностью в регионах. Большие надежды на ИИ возлагает промышленность.

ИИ уже сейчас экономит массу денег в так называемой предиктивной, то есть предсказательной аналитике. Например, ИИ можно обучить на примерах находить дефекты, старение металла в конструкциях, механизмах, прокатных станах, в доменных печах и так далее. И заменять запчасти заранее, не доводя до катастрофы и аварийного выхода производства из строя.

Практический пример: в домнах есть специальные форсунки (фурмы), которые при плавке металла загоняют в домну тщательно отмеренные объёмы кислорода и воды. Если форсунка «устала» и прогорает во время плавки, то образуется дыра, через которую уже неконтролируемо поступает воздух, портится качество металла. А «горячая» замена невозможна.

Но если при помощи датчиков и обученного ИИ заранее определить, что фурма скоро прогорит — ещё до появления первых внешних признаков этого, — то замену можно сделать до начала плавки и предотвратить большие потери. Подобных примеров промышленного применения ИИ очень много.

Можно привести примеры и противоположного рода. Например, многие люди подозревают, что автомобильный навигатор часто даёт не оптимальный для пользователя маршрут, а рассматривает его как точку в общем потоке и предлагает траекторию, оптимальную для снижения пробок.

Это, по сути, попытка управлять массой людей с помощью искусственного интеллекта. А кто он такой, чтобы всеми управлять? Ведь мы поставили это приложение на смартфон в расчёте, что оно будет помогать нам, мы доверяем ИИ, а он в определённый момент начинает за нас решать, что для нас лучше.

Или другой пример. Постоянно говорят об использовании ИИ в медицине. Допустим, вы больны, носите браслет, который следит за давлением, уровнем сахара в крови и тому подобным. Однако в соглашении об использовании этого браслета, которое никто не читает, может быть прописано, что вы разрешаете передавать эти данные третьим лицам. Обычно, кстати, такое условие там и содержится.

А этим «лицом» может быть, например, банк, который будет теперь предлагать вам кредиты по повышенной ставке. Или страховые компании, которые будут завышать для вас, как для больного человека, стоимость страховки. В итоге окажется, что нами начнут управлять с помощью сбора и анализа наших персональных данных.

Вообще, у многих сторонников повсеместного внедрения ИИ есть убеждение, что обществом можно управлять алгоритмически. У них есть даже специальный термин — управление «индивидуальными траекториями» учащихся, пациентов, граждан вообще.

— Звучит как эвфемизм.

— Потому что «траектория» человека —это на самом деле его судьба. Это попытка управлять судьбой. Такие люди примеряют на себя роль Бога. И вот этого допустить точно нельзя.