Доверенный искусственный интеллект
Дове́ренный иску́сственный интелле́кт, концепция, согласно которой интеллектуальные системы должны быть разработаны таким образом, чтобы обеспечивать надёжность, безопасность, эффективность и продуктивность при их использовании.
Основные свойства
Надёжность: доверенный искусственный интеллект (ИИ) должен предсказуемо работать без сбоев или ошибок, особенно в ситуациях неопределённости.
Безопасность: системы доверенного ИИ должны быть защищены от взломов и кибератак.
Эффективность: доверенный ИИ должен быстро и точно выполнять задачи с использованием доступных ресурсов, таких как процессорное время, память и энергия.
Продуктивность: доверенные системы должны быть направлены на максимальное повышение производительности труда пользователей.
Подотчётность: возможность использования систем ИИ с обеспечением человеческого надзора и контроля над поведением и результатами.
Прозрачность: разработчики и пользователи доверенного ИИ должны иметь доступ к информации о его функционировании и принятии решений.
Конфиденциальность: использование механизмов защиты и контроля доступа к собираемым и генерируемым данным.
Справедливость: внедрение методов проверки предвзятости и учёта интересов всех, на кого распространяются системы ИИ.
Этичность: принципы взаимодействия между людьми и системами ИИ, расширяющие возможности людей, а не наоборот.
История развития
Ранние этические проблемы (середина 20 в.): проблематика доверенного ИИ восходит к ранним дискуссиям об этических последствиях ИИ. Такие пионеры, как А. Тьюринг и А. Азимов, начали учитывать этические аспекты ИИ и робототехники.
Расцвет машинного обучения (2000-е гг.): с развитием машинного обучения и подходов к ИИ, основанных на данных, обеспокоенность по поводу этического использования ИИ начала приобретать всё большее значение. Исследователи начали сосредоточиваться на таких проблемах, как предвзятость в алгоритмах ИИ.
Исследования предвзятости и справедливости ИИ (2010–2020-е гг.): исследователи активизировали свои усилия по выявлению и смягчению предвзятости в системах ИИ. Это включало разработку показателей и алгоритмов для уменьшения предвзятости в моделях машинного обучения.
Прозрачность и объяснимость ИИ (2010–2020-е гг.): объяснимый ИИ и прозрачность стали важнейшими аспектами доверенного ИИ. Исследователи работали над тем, чтобы сделать системы ИИ более понятными и подотчётными для пользователей и заинтересованных сторон.
Исследование состязательных атак (2010–2020-е гг.): в начале 2010-х гг. исследователи обнаружили, что системы ИИ, особенно глубокие нейронные сети, можно легко обмануть, добавив незаметные искажения во входные данные. Эти возмущения, известные как состязательные примеры, могут привести к тому, что модели ИИ будут делать неверные прогнозы. В ответ на растущую угрозу состязательных атак исследователи начали разрабатывать методы защиты от них.
Национальные и международные инициативы (2020-е гг.): страны и международные организации начали осознавать важность доверенного ИИ. Ведутся работы по установлению национальных и международных стандартов развития ИИ.
Современное состояние
Технологии ИИ являются источниками новых типов ошибок и уязвимостей, которые отличаются от классических уязвимостей программного обеспечения. Широкий интерес к внедрению технологий ИИ привёл к необходимости изучать и учитывать новые риски и угрозы, специфичные для технологий ИИ, включая переобучение, дрейф данных, предвзятость обученной модели, выбросы данных. Кроме того, использование ИИ предоставляет новые возможности для проведения специализированных атак злоумышленниками. К таким атакам относятся отравление данных, внедрение закладок, кража обучающих данных, состязательные атаки, кража конфиденциальной информации, внедрение зловредного кода в модель и кража самих моделей. Современные исследователи в области доверенного ИИ занимаются изучением этих проблем, способов противодействия, а также выработкой стандартов безопасности и этики в этой области.