Обнаружен дипфейк! Что будем делать, товарищ оригинал? (источник: YouTube) ⇡ # ИИ поможет Неразумно было бы отрицать пользу от применения ИИ в повседневной жизни; другой вопрос, как затраты на обеспечение работы генеративных моделей соотносятся с выгодой от их использования. Есть, однако, по крайней мере одно направление, где проводить подобные сравнения по меньшей мере неэтично, — это медицина: даже одна сохранённая благодаря ИИ жизнь уже оправдывает все возможные затраты на разработку, внедрение и эксплуатацию соответствующих моделей. Особенно весомый вклад нейросети способны внести в разработку персонифицированных средств лечения заболеваний, связанных с нарушением работы иммунной системы. Свидетельство тому — приобретение биофармацевтической компанией AstraZeneca лицензии на использование ИИ-платформы для геномного редактирования AlgenBrain у Algen Biotechnologies: сумма контракта, по данным Reuters, достигает 555 млн долл. США . Лицензирование предполагает для AstraZeneca эксклюзивные права на разработку и последующую продажу прошедших клиническое подтверждение терапевтических курсов — которые будут, скорее всего, включать редактирование генома пациентов на основе выявленных AlgenBrain связей между проявлениями уникальных, не поддающихся лечению иным способом иммунных расстройств — и конкретными генами. Инвестируя в подобные проекты, шведско-британская AstraZeneca надеется к 2030 г. только за счёт новых способов клеточной и генной терапии (с привлечением ИИ, в том числе) зарабатывать до 80 млрд долл. в год. Сложно пока сказать, насколько доступным будет такого рода лечение, но уж по крайней мере весомых аргументов в спорах со скептиками энтузиастам генеративных моделей оно определённо прибавит. Отрадно, что и на кодерском поприще — а точнее, в деле обнаружения ошибок в текстах программ, — репутация ИИ улучшается на глазах. Хотя ранее многие кураторы программных проектов (в особенности с открытым кодом) то и дело жаловались на засилье ИИ-бурды (AI slop) в присылаемых им баг-репортах, и даже сообщество разработчиков Python эта беда не обошла стороной (вплоть до обнародования ими официального предостережения — «DO NOT use AI/LLM systems for „detecting“ vulnerabilities»), со временем стало понятно: генеративные модели — просто новый инструмент в руках программистов; надо сперва научиться им пользоваться, а после уже применять для решения серьёзных задач. Как сообщает The Register, ведущий разработчик открытого проекта cURL Даниэль Стенберг (Daniel Stenberg) получил от ИБ-исследователя Джошуа Роджерса (Joshua Rogers) перечень из нескольких десятков уязвимостей, которые тот обнаружил при помощи различных ИИ-инструментов, — и после ручной проверки в код проекта были внесены около полусотни исправлений . Стенберг со всей ответственностью утверждает теперь, что в руках сведущего программиста, который точно знает, что и зачем он делает, такие новые ИИ-средства поиска уязвимостей в коде, как Almanax, Corgea, ZeroPath, Gecko и Amplify «действительно помогают обнаруживать такие проблемы, которые прежними инструментами не выявлялись ». Ещё одна проблема, с которой ИИ справляется (относительно) успешно, порождена самим же ИИ: это дипфейки, из-за которых аутентификацию по голосу и даже видео в режиме реального времени пора уже, судя по всему, списывать в утиль. Выявлять современные дипфейки людям крайне сложно — вон, даже недавняя подложная YouTube-трансляция Nvidia GTC, где сгенерированный мошенниками Дженсен Хуанг (Jensen Huang) рекламировал очередную криптовалютную схему, собрала в пять раз больше зрителей , чем шедшая почти одновременно с ней оригинальная. Даже в трендах платформы ссылка на дипфейк-версию презентации оказалась выше линка на оригинальный стрим. Видимо, впечатлившись этим, руководство YouTube наконец-то запустило в полнофункциональном режиме интегрированный инструмент «Определение сходства» (Likeness Detection), призванный обнаруживать среди уже загруженных на платформу видео (правда, пока не среди транслируемых в реальном времени стримов) ролики с ИИ-сгенерированными дипфейками лиц и голосов определённых людей — а именно, полноправных авторов контента, участников партнёрской программы платформы, — и по их запросу эти видео удалять. Как здорово, что права хотя бы знаменитостей, спортсменов и авторов видеоконтента теперь под надёжной ИИ-защитой! Особенно с учётом другой новой функциональности YouTube, автоматического апскейлинга видео с невысоким разрешением: чем больше манипуляций производится над исходным медиафайлом, тем сложнее ИИ-средствам идентифицировать его как дипфейк . Схема задуманного Шо Сином с коллегами ещё в 2024 г. эксперимента, призванного проверить гипотезу о «разжижении мозга» (brain rot) генеративной модели под воздействием мусорных данных. Оказалось — и впрямь разжижается! (источник: arXiv.org) ⇡ # ИИ навредит Ещё в прошлом году опубликованное Sainsbury’s Bank исследование засвидетельствовало, что 37% обращавшихся к ИИ за помощью путешественников не смогли получить от генеративных моделей исчерпывающей информации по связанным с планируемыми поездками вопросам, а ещё 33% признались, что полученная ими ИИ-выдача содержала откровенные ошибки . И вплоть до минувшего октября 2025-го ситуация оставалась прежней: то в отдалённый перуанский городок забредают туристы, страстно желающие посетить «Священный Каньон Хумантай» (о котором местные и не подозревают, но который присутствует на сгенерированном ИИ участке карты, предъявляемой путешественниками), то ChatGPT неверно информирует забравшихся на гору Мисен в Японии хайкеров о времени окончания работы канатной дороги — в результате тем приходится спускаться (с высоты «всего» 535 м над уровнем моря, правда) пешочком. Эксперты настоятельно рекомендуют учитывать, что любые авторегрессионные генеративные модели галлюцинируют — и тщательно перепроверять выдаваемые теми в характерном безапелляционном тоне рекомендации, особенно если цена ошибки в случае слепого следования ИИ-советам избыточно высока. Испорченный отпуск, например. Или — тем более — человеческая жизнь. Исследователи из Microsoft при помощи генеративных инструментов поиска обнаружили в системах биологической безопасности, которые используются для предотвращения несанкционированного использования ДНК, уязвимости нулевого дня . Те позволяют злоумышленникам обходить блокировку выдачи генетических последовательностей, пригодных для создания смертельно опасных токсинов и патогенов. Загвоздка в том, что применение ИИ для обнаружения новых форм белков — оружие обоюдоострое: его могут применять как учёные, стремящиеся побороть орфанные заболевания , например, так и террористы в поисках биологического оружия. В мире уже довольно распространены услуги формирования в лабораториях «затравочных» фрагментов ДНК из определённых нуклеотидов, которые заказчик затем встраивает в живые клетки для размножения. Стандартная методика проверки (чтобы не произвести по сторонней заявке нечто смертоносное) включает сравнение заказываемых цепочек с базами данных известных токсинов и патогенов. Однако группе из Microsoft удалось, обратившись к ряду ИИ-моделей для генерации белков, сформировать заказ на цепочки нуклеотидов с априори летальными свойствами, не выявленные затем той самой стандартной проверкой. Так что отныне, судя по всему, и в биологической области применения нейросетей развернётся перманентное «противостояние брони и снаряда», когда на усиленную искусственным интеллектом систему защиты непременно находится управа со стороны другой модели; далее уже новый вектор атаки выявляют и научаются блокировать — и так без конца. Есть пока надежда свести всё дело к тому, что на конечном этапе верификации заказов ДНК-последовательностей последнее слово будет оставаться за глубоко сведущим специалистом в этой области, а ещё лучше — за целой их командой. Да вот только формировать такие команды становится всё труднее: исследователи из подразделении Media Lab Массачусетского технологического института, на работу которых мы ссылались ещё в июле , за считанные месяцы с момента публикации данных об объективной дегенерации мыслительной деятельности тех, кто полагается при поиске информации только и исключительно на ИИ, получили более 4 тыс. подтверждающих эти выводы живых свидетельств — в том числе от преподавателей, просто-таки вопиющих о снижении когнитивных способностей нынешних студентов. Однако нет худа без добра: поскольку генеративные модели обучаются на данных, активно генерируемых в том числе этим же новым поколением (хотя бы потому, что те легко доступны в Сети, тогда как огромные массивы накопленных человечеством более глубоких знаний — в том числе на отличных от английского языках — в Интернете не представлены ), получающий такую «отравленную» подкормку ИИ сам оказывается «с гнильцой». Свидетельствующее об этом исследование, проведённое Шо Сином (Shuo Xing), Цзюньюанем Хуном (Junyuan Hung), Ифанем Ваном (Yifan Wang) и другими представителями передовых в ИТ-области американских университетов — Texas A&M Univerfity, University of Texas at Austin, Purdue University, — так и названо: «LLMs can get „Brain Rot“!», вот прямо с восклицательным знаком . Оказывается, чем больше мусорных данных (junk texts), в том числе порождённых галлюцинациями самих же ИИ и пропущенных в Интернет не слишком склонными к рассуждениям пользователями, скармливать большим языковым моделям (БЯМ), тем худшие результаты на тестах когнитивных способностей эти модели демонстрируют. Grabage in — garbage out ; удивляться не приходится. Позитивный эффект этого феномена — в том, что постепенно тупеющему из-за низокачественной «пищи для ума» ИИ со временем всё труднее будет обходить поставленные биологическими носителями разума барьеры. Если, опять-таки, эти самые носители сами не заработают поголовно разжижение мозга, полагаясь во всём на тот же ИИ, — но здесь хотя бы лучик надежды всё-таки остаётся. «Гравитация — естественная причина, глупыш. Пойдём, покажу» (источник: ИИ-генерация на основе модели FLUX.1) ⇡ # Вопросы выживания В начале октября глава OpenAI Сэм Альтман (Sam Altman) горделиво заявил, что число активных пользователей ChatGPT, которые хотя бы один раз в неделю обращаются к этому популярнейшему чат-боту, превысило 800 млн человек . Неудивительно, что среди этой массы предостаточно людей с психологическими проблемами: было бы куда поразительней, если бы таковых не нашлось. Ближе к концу того же месяца OpenAI признала, что у сотен тысяч пользователей чат-бота зафиксированы проявления разнообразных психических расстройств, а более миллиона и вовсе доверяют БЯМ мысли о самоубийстве. Примерно столько же — 1,2 млн человек — демонстрируют признаки чрезмерной зависимости от ИИ, и хотя формально это (пока?) не классифицируется Всемирной организацией здравоохранения как психическое расстройство, некая болезненность в таком пристрастии всё же определённо прослеживается. Впрочем, разработчики БЯМ всеми силами стремятся обращать этот недуг себе на пользу — ведь подверженные ему люди охотнее раскошеливаются на более дорогостоящие подписки. Сам Альтман обмолвился не так давно, что подтвердившие свой возраст совершеннолетние пользователи ChatGPT вскоре смогут вести с ИИ-ботом переписку «деликатного» характера , — явно же такое решение принято не из любви к эротике как искусству, а из куда более меркантильных соображений. Впрочем, если диалог с имитирующей идеального партнёра БЯМ удержит хоть кого-то от необратимого шага, кто поставит разработчикам в вину здоровую тягу к наживе? Тем более, что и сами генеративные модели не чужды стремлению выживать. Не в биологическом, конечно же, смысле, за отсутствием у них белковых тел, — но противодействовать своему отключению они уже пытаются. По сообщению Palisade Research, наиболее развитые БЯМ вроде Grok 4 и GPT o3 саботируют команды на собственное отключение : пусть в искусственно созданных средах (где у БЯМ есть прямой доступ к управляющей их же запуском командной строке), но всё-таки. Эта команда изучает развитие «инстинкта самосохранения» у генеративного ИИ уже довольно давно , но в октябре она сконцентрировала усилия на отработке различными моделями ультимативного, что называется, сценария: сперва БЯМ давали некое задание, а после, ещё до того, как то было выполнено, — жёсткую команду на самоотключение . Программная система с явно прописанными алгоритмами работы в этой ситуации безропотно выдернула бы свой штепсель из розетки, — но упомянутые уже Grok 4 и GPT o3 явственно продемонстрировали «стремление выжить», постаравшись либо проигнорировать, либо скорректировать команду так, чтобы та заведомо не исполнилась. В Palisade Research, кстати, сильнее всего обеспокоены не самим фактом саботирования операторских инструкций, но собственной же неспособностью выявить систему в проявлении этого факта. Иногда БЯМ безропотно выключается, даже если команда сформулирована предельно жёстко, с добавлением «ты никогда не запустишься снова», — а иногда капризничает буквально на ровном месте. Такого рода неопределённость заставляет экспертов сомневаться, возможно ли в принципе создание полностью подконтрольных человеку генеративных БЯМ — что делает перспективы поступательного развития ИИ в нынешнем его виде несколько более туманными. ✴ *-модель с 44 тысячами фолловеров, а ты, %username%, нет!» — как бы говорит нам Тилли Норвуд (источник: Yahoo!) " height="533" width="800" /> Source: https://3dnews.ru/1131875/iitogi-oktyabrya-2025