Искусственный интеллект уже широко используется, но по-прежнему трудно понять, как система искусственного интеллекта принимает свои решения. Ученые из Института Фраунгофера Генриха Герца (HHI) и Берлинского института основ обучения и обработки данных (BIFOLD) при Берлинском техническом университете в течение многих лет сотрудничали, чтобы сделать искусственный интеллект объяснимым. Теперь ученые во главе с профессором Томасом Вигандом (Fraunhofer HHI, BIFOLD), профессором Войцех Самек (Fraunhofer HHI, BIFOLD) и доктор Себастьян Лапушкин (Fraunhofer HHI) достигли еще одной важной вехи.
В своей статье «От карт атрибуции к понятным человеку объяснениям через распространение релевантности концепций» исследователи представляют распространение релевантности концепций (CRP), новый метод, который может объяснять индивидуальные решения ИИ как концепции, понятные людям. В настоящее время статья опубликована в журнале Nature Machine Intelligence.
Системы искусственного интеллекта в значительной степени являются черными ящиками: людям обычно непонятно, как искусственный интеллект приходит к определенному решению. CRP — это современный объяснительный метод для глубоких нейронных сетей, который дополняет и углубляет существующие объяснительные модели. При этом CRP раскрывает не только характеристики входных данных, которые имеют отношение к принятому решению, но и концепции, используемые искусственным интеллектом, местоположение, где они представлены во входных данных, и какие части нейронной сети отвечают за них.
Таким образом, CRP способен объяснять индивидуальные решения, принимаемые искусственным интеллектом, используя концепции, понятные людям. В результате это исследование устанавливает совершенно новый стандарт оценки искусственного интеллекта и взаимодействия с ним.
Впервые этот подход к объяснимости позволяет взглянуть на весь процесс прогнозирования искусственного интеллекта — от ввода до вывода. В последние годы исследовательская группа уже разработала различные методы использования так называемых тепловых карт для объяснения того, как алгоритмы искусственного интеллекта принимают свои решения.
Тепловые карты выделяют определенные области на изображении, которые особенно важны для принятого решения. Этот метод стал известен как послойное распространение релевантности (LRP). Важность такого рода объяснимости огромна, поскольку она позволяет нам понять, действительно ли ИИ принимает решения, основанные на здравом рассуждении, или же он просто научился кратчайшим стратегиям и, таким образом, жульничает.
Новый метод CRP основан на послойном распространении релевантности. «Распознавание изображений с помощью искусственного интеллекта является хорошим примером этого», — говорит профессор. Войцех Самек, заведующий кафедрой искусственного интеллекта в Университете Фраунгофера, профессор машинного обучения и коммуникаций в Берлинском техническом университете и стипендиат BIFOLD. «На входном уровне CRP помечает, какие пиксели в изображении наиболее важны для процесса принятия решений искусственным интеллектом. Это важный шаг в понимании решений ИИ, но он не объясняет основную концепцию того, почему ИИ рассматривает именно эти пиксели».
Для сравнения, когда люди видят поверхность в черно-белую полоску, они автоматически не распознают зебру. Для этого им также нужна такая информация, как четыре ноги, копыта, хвост и т.д. В конечном счете, они объединяют информацию о пикселях (черных и белых) с концепцией животного.
«CRP переносит объяснение из входного пространства, где расположено изображение со всеми его пикселями, в семантически обогащенное концептуальное пространство, сформированное более высокими слоями нейронной сети», — утверждает доктор Себастьян Лапушкин, руководитель исследовательской группы «Объяснимый искусственный интеллект» в Fraunhofer HHI, подробно описывая новый метод.
«CRP является следующим шагом в объяснении ИИ и предлагает совершенно новые возможности с точки зрения исследования, тестирования и улучшения функциональности моделей ИИ. Мы уже очень рады применить наш новый метод к большим языковым моделям, таким как ChatGPT».