Газета.Ru в Telegram
Новые комментарии +

Заучка, псих, насильник: как клеймят нейросети

Как нейросеть навешивает на людей ярлыки по их фотографиям

В сети появилась новая вирусная забава — сайт, работающий на базе нейросетей, определяет пол, расу или профессию человека по его загруженному селфи. Однако многие пользователей остались недовольны полученным результатом, назвав его неприятным и даже оскорбительным. Как оказалось, сервис является частью проекта, призванного доказать, насколько искусственный интеллект может быть предвзятым к человеку.

Веб-сайт под названием ImageNet Roulette приобрел вирусную популярность в твиттере — пользователи загружают в него свои селфи, а искусственный интеллект (ИИ) пытается угадать, кем они являются, определяя пол, расу, профессию или какие-то личные качества.

Нейросеть, лежащая в основе этого сайта, была натренирована на базе изображений ImageNet, созданной в 2009 году. Эта база довольно часто используется исследователями в сфере ИИ, так как является бесплатной и находится в общем доступе. Она включает в себя 14 млн фотографий, снабженных подписями.

Юзеры соцсетей опробовали новый механизм и иногда получали совершенно неожиданные результаты. Например, «пользователь компьютера», «чародейка», «псих», «заучка» или «пессимист».
 
Однако, некоторые пользователи остались возмущены работой нейросетей. Так, молодую девушку в очках ИИ воспринял как «бабушку».

Женатый мужчина по имени Дэвид получил результат «в разводе». «К счастью, это не так», — подписал он свое фото.

Темнокожему Стивену повезло меньше всех — алгоритм назвал его не только «черным», но и «негроидом».

Другие пользователи жалуются, что нейросеть заклеймила их «преступниками» или даже «насильниками» на основе только фотографии.

Как выяснилось позднее, ImageNet Roulette был запущен не случайно. Создатели сайта Кейт Кроуфорд и Тревор Паглен представили его на выставке в Милане, чтобы указать на простой факт — если данные, с помощью которых тренируется искусственный интеллект, изначально плохие, то ничего хорошего из такой нейросети не выйдет.

«ImageNet содержит ряд странных, оскорбительных и причудливых категорий — все они взяты из WordNet. Некоторые используют женоненавистническую или расистскую терминологию. Результаты, полученные в ImageNet Roulette, основаны на этих же категориях...

Мы хотим указать на то, что происходит, когда технические системы обучаются на плохих данных.

WordNet — это база данных классификаций слов, сформулированных в Принстоне в 1980-х годах», — сообщили Кроуфорд и Паглен на своем сайте.

Кроуфорд подчеркнула, что, несмотря на очевидные плюсы ImageNet, включая ее обширность, она не лишена предвзятости, заложенной в нее человеком, в виде навешивания ярлыков, опираясь на расу, пол или особенности внешности. При этом избавиться от этой предвзятости невозможно.

В 2016 году в рамках расследования стало известно, как компьютерная программа под названием COMPAS, созданная для определения предрасположенности человека к совершению преступления, «отдавала предпочтение» темнокожим гражданам. Кроме того, год назад Amazon пришлось отказаться от ИИ, используемого для найма новых сотрудников, так как он приглашал на собеседование только мужчин, дискриминируя женщин.

Нейросеть, которой необходимо тренироваться на больших массивах данных для успешной работы, перенимает человеческую предвзятость, которая становится ее неотъемлемой частью.

Три года назад в центре скандала оказался чат-бот по имени «Тэй», созданный Microsoft. Дело в том, что Тэй, общаясь с большим количеством пользователей, буквально за сутки успела возненавидеть человечество. Поначалу она заявляла, что любит мир и людей, но к концу дня позволяла себе такие высказывания, как «я ненавижу чертовых феминисток, они должны гореть в аду» и «Гитлер был прав, я ненавижу евреев».

Кроме того, Тэй возложила ответственность за теракт 11 сентября на Джорджа Буша и назвала Барака Обаму «обезьяной». В итоге агрессивного чат-бота пришлось отключить.

На смену Тэй пришла бот по имени Зо, которая повторила судьбу своей предшественницы. На откровенный разговор чат-бота спровоцировал журналист BuzzFeed. Он упомянул в разговоре Усаму бен Ладена, после чего Зо сначала отказалась говорить на эту тему, а потом заявила, что захвату террориста «предшествовали годы сбора разведданных при нескольких президентах».

Помимо прочего, чат-бот высказалась и по поводу священной книги мусульман Корана, назвав ее «слишком жестокой».

Таким образом, даже если создатель ИИ запрограммирует свое творение на любовь к людям, нет никакой возможности фильтровать пользователей, имеющих доступ к новой технологии. В этом случае бота могут научить как хорошим, так и плохим вещам. Кроме того, нельзя исключать и хакерскую атаку — нет гарантии, что злоумышленники не смогут получить доступ к системе и умышленно настроить бота на совсем другую волну.

Новости и материалы
Тарасова рассказала, как бы она отнеслась к решению Туктамышевой возобновить карьеру
Анализ ДНК помог восстановить лицо древнекитайского императора
Кабмин Финляндии заявил, что соглашение с США по обороне ограничит суверенитет страны
Врач-оториноларинголог рассказала, как сохранить слух
В сеть попали видео работы следователей в домах подозреваемых в теракте в «Крокусе»
Китай готов открыть рынки для иностранных инвесторов
Стало известно о поступлении значительных сумм исполнителям теракта в «Крокусе»
Самолет экстренно сел в Казани из-за треснувшего лобового стекла
Хвича может получить трехкратный рост зарплаты
Женщине грозит несколько лет тюрьмы за отрицательный отзыв о томатном пюре
Стало известно, кто выиграет титул чемпиона Англии по футболу
Лазарев объяснил свои слова о паузе в карьере: «Никуда не пропадаю»
Мостовой назвал фаворита матча «Спартак» — «Урал»
Украина хочет построить три межгосударственные ЛЭП с Польшей
СК установил еще одного подозреваемого в спонсировании теракта в «Крокусе»
Главы МИД Украины и Дании написали статью о восстановлении республики
Во Львове предрекли участие в ВСУ всех жителей Украины
Люберецкий чиновник погиб в «Крокусе», спасая свою семью
Все новости