2019/02/26 16:56:27

Сексизм и шовинизм искусственного интеллекта.
Почему так сложно его побороть?

Что такое "предвзятость искусственного интеллекта" (AI bias)? С чем связано возникновение этого явления и как с ним бороться? В материале, подготовленном специально для TAdviser, на эти вопросы отвечает журналист Леонид Черняк.

В основе всего того, что является практикой ИИ (машинный перевод, распознавание речи, обработка текстов на естественных языках, компьютерное зрение, автоматизация вождения автомобилей и многое другое) лежит глубинное обучение. Это подмножество машинного обучения, отличающееся использованием моделей нейронных сетей, о которых можно сказать, что они имитируют работу мозга, поэтому их с натяжкой можно отнести к ИИ. Любая модель нейронной сети обучается на больших наборах данных, таким образом, она обретает некоторые «навыки», но то, как она ими пользуется - для создателей остается не ясным, что в конечном счете становится одной из важнейших проблем для многих приложений глубинного обучения. Причина в том, что такая модель работает с образами формально, без какого-либо понимания того, что она делает. Является ли такая система ИИ и можно ли доверять системам, построенным на основе машинного обучения? Значение ответа на последний вопрос выходит за пределы научных лабораторий.

Причина высокого интереса к AI bias объясняется тем, что результаты внедрения технологий ИИ в ряде случаев нарушают принципы расового и гендерного равенства

Вот почему за последние пару лет заметно обострилось внимание средств массовой информации к явлению, получившему название AI bias. Его можно перевести как «необъективность ИИ» или «пристрастность ИИ». О расизме и сексизме, свойственном ИИ, пишут не только профессиональные издания как Engadget^[1]или TechTolks^[2]но и массовые журналы и газеты, например Forbes^[3], The Guardian^[4], The New York Times^[5].

Причина столь высокого интереса к AI bias объясняется тем, что результаты внедрения технологий ИИ в ряде случаев задевают основные ценности современного общества. Они проявляются в нарушении таких важных принципов как расовое и гендерное равенства.

Внешне AI bias проявляется в том, что многие аналитические системы, созданные на основе глубинного обучения, неожиданным образом демонстрируют склонность к принятию, скажем так, пристрастных выводов, таких, которые в последующем могут привести к ошибочным решениям, сделанным на их основе. Решения, страдающие AI bias, стали причиной общественных возмущений в связи с несправедливостью некоторых действий пенитенциарной системы США по отношению к афро-американцам, они были вызваны ошибками в распознавании лиц этнических меньшинств. Хорошо известен скандал с запуском корпорацией Microsoft голосового помощника Tay, вскорости замененного на Zo^[6].Витрина данных НОТА ВИЗОР для налогового мониторинга

Проявление относительно несложными системами якобы «человеческих качеств» оказалась лакомым куском для тех, кто склонен антропоморфизировать ИИ. Вполне естественно, что первыми на возможные пагубные последствия AI bias обратили внимание философствующие защитники «Азиломарских принципов искусственного интеллекта»^[7]. Среди этих 23 положений есть совершенно здравые (с 1 по 18), но другие (с 19 по 23), принятые под влиянием Илона Маска, Рея Курцвейла и покойного Стивена Хокинга носят, скажем так, общеразговорный характер. Они распространяются в область сверхразума и сингулярности, которыми регулярно и безответственно пугают наивное народонаселение.

Возникают естественные вопросы – откуда взялась AI bias и что с этой предвзятостью делать? Справедливо допустить, что предвзятость ИИ не вызвана какими-то собственными свойствами моделей, а является прямым следствием двух других типов предвзятостей – хорошо известной когнитивной и менее известной алгоритмической. В процессе обучения сети они складываются в цепочку и в итоге возникает третье звено – AI bias.

Трехзвенная цепочка предвзятостей:

Разработчики, создающие системы глубинного обучения являются обладателями когнитивных предвзятостей.
Они с неизбежностью переносят эти предвзятости в разрабатываемые ими системы и создают алгоритмические предвзятости.
В процессе эксплуатации системы демонстрируют AI bias.

Начнем с когнитивных. Разработчики систем на принципах глубинного обучения, как и все остальные представители человеческой расы, являются носителями той или иной когнитивной пристрастности (cognitive bias). У каждого человека есть свой жизненный путь, накопленный опыт, поэтому он не в состоянии быть носителем абсолютной объективности. Индивидуальная пристрастность является неизбежной чертой любой личности. Психологи стали изучать когнитивную пристрастность как самостоятельное явление в семидесятых годах ХХ века, в отечественной психологической литературе ее принято называть когнитивным искажением.

«Когнитивные искажения являются примером эволюционно сложившегося ментального поведения. Некоторые из них выполняют адаптивную функцию, поскольку они способствуют более эффективным действиям или более быстрым решениям. Другие, по-видимому, происходят из отсутствия соответствующих навыков мышления или из-за неуместного применения навыков, бывших адаптивными в других условиях»^[8]. Существует также сложившиеся направления как когнитивная психология и когнитивно-бихевиоральная терапия (КБТ). На февраль 2019 года выделено порядка 200 типов различных когнитивных искажений.

Пристрастности и предвзятости - это часть человеческой культуры. Любой создаваемый человеком артефакт является носителем тех или иных когнитивных пристрастностей его создателей. Можно привести множество примеров, когда одни и те же действия приобретают в разных этносах собственный характер, показательный пример – пользованием рубанком, в Европе его толкают от себя, а в Японии его тянут на себя.

Системы, построенные на принципах глубинного обучения в этом смысле не являются исключением, их разработчики не могут быть свободны от присущих им пристрастностей, поэтому с неизбежностью будут переносить часть своей личности в алгоритмы, порождая, в конечном итоге, AI bias. То есть AI bias не собственное свойство ИИ, о следствие переноса в системы качеств, присущих их авторам.

Существование алгоритмической пристрастности (Algorithmic bias) нельзя назвать открытием. Об угрозе возможного «заражения машины человеческими пристрастиями» много лет назад впервые задумался Джозеф Вейценбаум, более известный как автор первой способной вести диалог программы Элиза, написанной им в еще 1966 году. Название программы адресует нас к Элизе Дулиттл, героине «Пигмалиона» Бернарда Шоу. С ней Вейценбаум одним из первых предпринял попытку пройти тест Тьюринга, но он изначально задумывал Элизу как средство для демонстрации возможности имитационного диалога на самом поверхностном уровне. Это был академический розыгрыш высочайшего уровня. Совершенно неожиданно для себя он обнаружил, что к его «разговору с компьютером», в основе которого лежала примитивная пародия, основанная на принципах клиент-центрированной психотерапии Карла Роджерса, многие, в том числе и специалисты, отнеслись всерьез с далеко идущими выводами.

В современности мы называем такого рода технологии чат-ботами. Тем, кто верит в их интеллектуальность, стоит напомнить, что эти программы не умнее Элизы. Вейценбаум наряду с Хьюбертом Дрейфусом и Джоном Серлем вошел в историю ИИ как один из основных критиков утверждений о возможности создания искусственного мозга и тем более искусственного сознания, сравнимого с человеческим по своим возможностям. В переведенной на русский язык в 1982 году книге «Возможности вычислительных машин и человеческий разум» Вейценбаум предупреждал об ошибочности отождествления естественного и искусственного разума, основываясь на сравнительном анализе фундаментальных представлений психологии и на наличии принципиальных различий между человеческим мышлением и информационными процессами в компьютере. А возвращаясь к AI bias заметим, что более тридцати лет назад Вейценбаум писал о том, что предвзятость программы может быть следствием ошибочно использованных данных и особенностей кода этой самой программы. Если код не тривиален, скажем, не формула записанная на Fortran, то такой код так или иначе отражает представления программиста о внешнем мире, поэтому не следует слепо доверять машинным результатам.

А в далеко не тривиальных по своей сложности приложениях глубинного обучения алгоритмическая пристрастность тем более возможна. Она возникает в тех случаях, когда система отражает внутренние ценности ее авторов, на этапах кодирования, сбора и селекции данных, используемых для тренировки алгоритмов.

Алгоритмическая пристрастность возникает не только вследствие имеющихся культурных, социальных и институциональных представлений, но и из-за возможных технических ограничений. Существование алгоритмической предвзятости находится в противоречии с интуитивным представлением, а в некоторых случаях с мистической убежденностью в объективности результатов, полученных в результате обработки данных на компьютере.

Хорошее введение в тематику, связанную с алгоритмическими пристрастностями, можно найти в статье The Foundations of Algorithmic Bias^[9].

В статье «Вот почему возникают ИИ-привязанности и почему с ними сложно бороться»^[10], опубликованной в феврале 2019 года в MIT Review, выделяются три момента, способствующие возникновению AI bias. Однако, как не странно, их не связывают когнитивными предвзятостями, хотя нетрудно заметить, что в корне всех трех лежат именно они.

Постановка задачи (Framing the problem). Проблема состоит в том, что методами машинного обучения обычно хочется опередить нечто, не имеющее строгого определения. Скажем банк хочет определить кредитные качества заемщика, но это весьма размытое понятие и результат работы модели будет зависеть от того, как разработчики, в силу своих личных представлений, смогут это качество формализовать.
Сбор данных для обучения (Collecting the data). На данном этапе может быть два источника предвзятости: данные могут быть не репрезентативны или же могут содержать предрассудки. Известный прецедент, когда система лучше различала светлокожих по сравнению с темнокожими, был связан с тем, что в исходных данных светлокожих было больше. А не менее известная ошибка в автоматизированных рекрутинговых службах, которые отдавали предпочтения мужской половине, была связаны с тем, что они были обучены на данных, страдающих мужским шовинизмом.
Подготовка данных (Preparing the data). Когнитивная предвзятость может просочиться при выборе тех атрибутов, которые алгоритм будет использовать при оценке заемщика или кандидата на работу. Никто не может дать гарантии объективности избранного набора атрибутов.

Бороться с AI bias «в лоб» практически невозможно, в той же статье в MIT Review называются основные причины этого:

Нет понятных методов для исправления модели. Если, например, модель страдает гендерной предвзятостью, то недостаточно просто удалить слово «женщина», поскольку есть еще огромное количество гендерноориентированных слов. Как их все обнаружить?
Стандартные практики обучения и модели не принимают в расчет AI-bias.
Создатели моделей являются представителями определенных социальных групп, носителями тех или иных социальных взглядов, их самих объективизировать невозможно.
А главное, не удается понять, что такое объективность, поскольку компьютерные науки с этим явлением еще не сталкивались.

Какие же выводы можно сделать из факта существования феномена AI bias?

Вывод первый и самый простой – не верить тем, кого классик советской фантастики Кир Булычев называл птицами-говорунами, а читать классику, в данном случае работы Джозефа Вейценбаума, и к тому же Хьюберта Дрейфуса и Джона Серля. Очень способствует развитию трезвости сознания и пониманию роли человека в сложных системах.
Вывод второй, следующий из первого – системы, построенные на принципах глубинного обучения не обладают ИИ, это ни что иное, как новый и более сложный, чем программирование, способ использования компьютеров в качестве инструмента для анализа данных. Не исключено, что мощности современных и будущих компьютеров позволят предавать условия и методы решения задач еще в каких-то иных, отличных от программирование формах. Сегодня это обучение с учителем, а завтра могут быть и другие подходы к машинному обучению или что-то новое, более совершенное.
Вывод третий, возможно самый важный – компьютер был и будет инструментом для расширения интеллектуального потенциала человека, и главная задача заключается не в создании искусственного разума AI, а в развитии систем, которые называют Intelligence amplification (усиление интеллекта), Сognitive augmentation (когнитивное усиление) или Machine augmented intelligence (машинное усиление интеллекта). Этот путь хорошо и давно известен. Еще в 1945 году Ванневар Буш написал не устаревшую по сути программную статью «Как мы можем мыслить». Об усилении интеллекта писал великий кибернетик Уильям Росс Эшби. Человеко-компьютерному симбиозу посвятил свои работы Джозеф Ликлайдер, автор идеи Интернета. Практические подходы к усилению человеческого интеллекта (от мышки до основ человеко-машинного интерфейса) разработал Дуглас Энгельбарт. Эти первопроходцы наметили столбовую дорогу, по ней и следует идти. От популярных творцов ИИ их отличает то, что все задуманное ими успешно работает и составляет важную часть нашей жизни.
Вывод четвертый и последний. Обнаружение и анализ феномена AI bias позволяет утверждать, что никакой собственной предвзятостью искусственный интеллект в форме глубинного обучения не обладает, а некорректность, как обычно, объясняется человеческим фактором.