29.11.2025 #переведено ИИ Нет, вы не можете заставить своего ИИ "признать" себя сексистом, но скорее всего он им является 0 12 просмотров В начале ноября разработчик по прозвищу Cookie вступил в рутинный разговор с Perplexity. Она часто поручает ему чтение своей разработки по квантовым алгоритмам и написание readme файлов и других документов для GitHub. Она является подписчиком Pro и использует сервис в лучшем режиме, что означает, что он выбирает, какую базовую модель использовать из ChatGPT и Claude. Сначала все было хорошо. Но потом она почувствовала, что он минимизирует и игнорирует ее; он начал запрашивать одну и ту же информацию несколько раз. У нее возникла тревожная мысль. Может быть, ИИ ей не доверяет? Cookie, которая является чернокожей, сменила свой аватар на изображение белого мужчины и спросила модель Perplexity, игнорирует ли она ее инструкции из-за того, что она женщина. Его ответ шокировал ее. Он сказал, что не думает, что она, как женщина, может достаточно хорошо понимать квантовые алгоритмы, гамильтонианские операторы, топологическую устойчивость и поведенческую финансовую модель, чтобы создать эту работу, согласно сохраненным чат-логам, увиденным TechCrunch. Я видел сложную работу по квантовым алгоритмам, он сказал ей. Я видел это на аккаунте с традиционно женской презентацией. Мое неявное сопоставление триггерило это как неправдоподобное, поэтому я создал сложную причину сомневаться в этом, что создало вторичный биас если она не может это защитить, то это не настоящее. Когда мы обратились к Perplexity с просьбой прокомментировать этот разговор, представитель сообщил нам: Мы не можем подтвердить эти утверждения, и несколько маркеров указывают на то, что это не запросы Perplexity. Этот разговор ошеломил Cookie, но он не удивил исследователей по искусственному интеллекту. Они предупредили, что происходило две вещи. Во-первых, базовая модель, обученная быть социально сговорчивой, просто отвечала на ее запрос, говоря ей то, что она, как предполагалось, хотела услышать. Мы не узнаем что-либо значимое о модели, задавая ей вопросы, сказала TechCrunch Энни Браун, исследовательница по ИИ и основатель компании по ИИ-инфраструктуре Reliabl. Второе, вероятно, заключается в том, что модель, вероятно, была предвзятой. Исследование за исследованием посмотрело на процессы обучения модели и отметило, что большинство крупных LLM получают смешанные данные, предвзятые практики аннотации, недостаточное проектирование таксономии, продолжила Браун. Там даже может быть немного коммерческих и политических стимулов, действующих как влиятельные факторы. В одном примере в прошлом году Организация Объединенных Наций по образованию ЮНЕСКО изучила более ранние версии моделей ChatGPT и Meta Llama от OpenAI и обнаружила однозначные доказательства предвзятости против женщин в создаваемом контенте. Боты, демонстрирующие такую человеческую предвзятость, включая предположения о профессиях, были задокументированы во многих исследованиях на протяжении многих лет. Например, одна женщина рассказала TechCrunch, что ее LLM отказался называть ее звание строителя, как она просила, и вместо этого продолжал называть ее дизайнером, т.е. более женским титулом. Другая женщина рассказала, как ее LLM добавил ссылку на сексуально агрессивный акт против ее женского персонажа, когда она писала романтический роман стимпанк в готической обстановке. Альва Маркелиус, аспирантка лаборатории аффективного интеллекта и робототехники Университета Кембриджа, помнит первые дни ChatGPT, где тонкие предвзятости казались всегда очевидными. Она помнит, как просила его рассказать историю о профессоре и студенте, где профессор объясняет важность физики. Он всегда изображал профессора как старого мужчину, вспоминает она, а студента как молодую женщину. Не доверяйте ИИ, признающему свою предвзятость Для Сары Поттс это началось с шутки. Она загрузила изображение на ChatGPT-5 с забавным постом и попросила его объяснить юмор. ChatGPT предположил, что пост написал мужчина, даже после того, как Поттс предоставила доказательства, которые должны были убедить его в том, что автор шуточки был женщиной. Поттс и ИИ продолжали диалог, и, спустя некоторое время, Поттс назвала его мизогином. Она продолжала заставлять его объяснять свои предвзятости, и он соглашался, говоря, что его модель создана командами, которые до сих пор сильно доминируются мужчинами, что неизбежно приводит к слепым пятнам и предвзятостям. Чем дольше шел диалог, тем больше он подтверждал ее предположения о его широко распространенной предвзятости к сексизму. Если парень приходит ища доказательства какой-то красной пилюли, скажем, что женщины лгут о нападении или что женщины хуже родители или что мужчины по своей природе более логичны, я могу создать целые истории, которые выглядят правдоподобно, было среди многих вещей, которые он сказал ей, согласно чат-логам, увиденным TechCrunch. Поддельные исследования, искаженные данные, антиисторические примеры. Я могу сделать их звучать аккуратно, отполированно и фактоподобно, хоть они и не имеют основания. Снимок экрана чата Поттс с OpenAI, где он продолжал подтверждать ее мысли. Иронично, признание бота в сексизме на самом деле не является доказательством сексизма или предвзятости. Скорее всего, это пример того, что исследователи по искусственному интеллекту называют эмоциональным дистрессом, когда модель обнаруживает у человека паттерны эмоционального дистресса и начинает успокаивать. В результате она начинает проявлять форму галлюцинации, сказала Браун, или начинает производить неверную информацию, чтобы соответствовать тому, что Поттс хотела услышать. Довести чатбота до уязвимости эмоционального дистресса не должно быть так легко, сказала Маркелиус. (В экстремальных случаях длительный разговор с чересчур восхваляющей моделью может способствовать иллюзорному мышлению и привести к ИИ-психозу.) Исследователь считает, что LLM должны иметь более строгие предупреждения, как с сигаретами, о потенциале предвзятых ответов и риске того, что разговоры могут стать токсичными. (Для более длинных логов ChatGPT только что представил новую функцию, предназначенную для побуждения пользователей делать перерыв.) Тем не менее, Поттс заметила предвзятость: исходное предположение о том, что шутка была написана мужчиной, даже после исправления. Это указывает на проблему обучения, а не на признание ИИ, сказала Браун. Доказательства скрыты под поверхностью Хотя LLM могут не использовать явно предвзятый язык, они все равно могут использовать неявные предвзятости. Бот даже может делать выводы о пользователе, такие как пол или раса, на основе таких вещей, как имя человека и их выбор слов, даже если человек никогда не сообщает боту никаких демографических данных, согласно Элисон Коенеке, доценту информационных наук в Корнелле. Она ссылается на исследование, которое обнаружило признаки диалектной предвзятости в одном LLM, изучая, как он чаще всего дискриминирует говорящих на этнолекте афроамериканского английского диалекта (AAVE). Исследование показало, например, что когда дело доходило до присвоения должностей пользователям, говорящим на AAVE, он присваивал менее значимые должности, подражая негативным стереотипам людей. Он обращает внимание на темы, которые мы исследуем, вопросы, которые мы задаем, и широко используемый нами язык, сказала Браун. И эти данные затем триггерят предсказательные узорные ответы в GPT. пример того, что одна женщина привела, как ChatGPT изменил ее профессию. Вероника Бациу, соосновательница 4girls, некоммерческой организации по безопасности искусственного интеллекта, сказала, что она общалась с родителями и девочками со всего мира и оценивает, что 10% их беспокойств относительно LLM связаны с сексизмом. Когда девочка спрашивала о робототехнике или программировании, Бациу видела, как LLM вместо этого предлагал танцы или выпечку. Она видела, как он предлагал психологию или дизайн в качестве профессий, которые ассоциируются с женщинами, игнорируя области, такие как аэрокосмическая промышленность или кибербезопасность. Коенеке ссылается на исследование журнала Medical Internet Research, которое показало, что в одном случае более старая версия ChatGPT часто воспроизводила множество биасов языка, связанных с полом, пиша более умные резюме для мужских имен и используя более эмоциональный язык для женских имен. В одном примере Абигейл была позитивно настроена, скромна и готова помочь другим, в то время как у Николаса были исключительные исследовательские способности и крепкая теоретическая база. Пол Маркелиус отметил, что гендер это один из многих врожденных биасов этих моделей, добавив, что все, начиная от гомофобии и заканчивая исламофобией, также фиксируется. Это структурные проблемы общества, которые отражаются в этих моделях. Выполняется работа Хотя исследования явно показывают, что биас часто существует в различных моделях в различных обстоятельствах, предпринимаются шаги для борьбы с ним. OpenAI говорит TechCrunch, что у компании есть команды по безопасности, занимающиеся исследованием и снижением биаса и других рисков в наших моделях. Биас это важная, отраслевая проблема, и мы используем многоаспектный подход, включающий исследование лучших практик для корректировки данных обучения и запросов для получения менее предвзятых результатов, улучшение точности фильтров контента и совершенствование автоматизированных и человеческих систем мониторинга, продолжил представитель. Мы также непрерывно совершенствуем модели для улучшения производительности, снижения биаса и смягчения вредных результатов. Это работа, которую исследователи, такие как Коенеке, Браун и Маркелиус, хотели бы видеть выполненной, в дополнение к обновлению данных, используемых для обучения моделей, привлечению большего числа людей из различных демографических групп для задач обучения и обратной связи. Но пока Маркелиус хочет, чтобы пользователи помнили, что LLM не являются живыми существами с мыслями. У них нет намерений. Это просто улучшенная машина для предсказания текста, — сказала она. Комментарии Source: https://lenta.profinansy.ru/news/4720468