Пятьдесят лет он создавал искусственный интеллект. Теперь говорит, что машины могут уничтожить человечество. Безработица, кибератаки, подтасовка выборов, вирусы, роботы-убийцы — далеко не полный список, что нас ждет. Что делать людям в таком мире? Учиться на сантехника. Пока… пока не появятся гуманоиды. Звучит бредово. Но это говорит Джеффри Хинтон — человек, без которого, возможно, не было бы ChatGPT, Gemini, Grok и других нейросетей. Лауреат премии Тьюринга, чьи работы по нейросетям легли в основу современного ИИ. В 2013-м Google купила его технологию, и Хинтон десять лет проработал в компании, развивая глубокое обучение. А потом он ушел — чтобы открыто говорить о рисках. Я посмотрел интервью Хинтона (за 4 месяца набрало 10 млн просмотров) и выписал его главные мысли. Начнем. Почему вас называют крестным отцом ИИ? Раньше было не так много людей, которые верили, что можно создать искусственный интеллект, подобный человеческому мозгу. Я продвигал этот подход полвека. Затем Google приобрела эту технологию и я десять лет проработал там над тем, что сейчас постоянно используется в ИИ. Джеффри Хинтон работал в Google с 2013 по 2023 год и занимался там развитием технологий глубокого обучения (deep learning) — в частности, нейронных сетей, которые легли в основу современного ИИ, включая ChatGPT-подобные модели Какую опасность несет ИИ? Я понял, что однажды эти существа станут умнее нас. Нам никогда не приходилось с таким сталкиваться. И если вы хотите знать, как выглядит жизнь, когда ты не высший интеллект, спросите у курицы. Существуют риски, которые исходят от людей, которые злоупотребляют ИИ (кибератаки, биологическое оружие, вмешательство в выборы). И есть риск того то, что ИИ станет сверхразумным. Он решит, что мы ему не нужны. Это реально, потому, что они (компании и государства, которые развивают ИИ) не собираются это останавливать, ведь ИИ слишком хорош для слишком многих вещей. За последние пять лет доля компаний, использующих ИИ хотя бы в одной функции, выросла почти в четыре раза с 20% до 78%. И действительно не похоже, что кто-то собирается останавливаться внедрять ИИ Когда вы поняли, что ИИ может быть опасным? Я довольно медленно осознавал риски. Часть из них были очевидны. Например, то, что люди применят ИИ для создания автономного летального оружия. Эти штуковины сами решают кого убить. Другие риски, вроде идеи, что однажды машины станут умнее нас и, возможно, мы станем ненужными, — я осознавал долго. Другие люди поняли это еще 20 лет назад. Меня это начало волновать всерьез несколько лет назад — и это реальный риск, который, возможно, наступит скоро. Как я мог этого не предвидеть? Хороший вопрос. Но помните, 20–30 лет назад нейронные сети были очень примитивны. Они были далеко не так хороши, как люди, в таких вещах, как зрение, язык и распознавание речи. Идея, что нужно беспокоиться о том, что они станут умнее людей, тогда казалась глупой. Джеффри Хинтон, 1980-е годы Когда все изменилось? Для широкой публики это изменилось, когда появился ChatGPT. А для меня — когда я понял, что у созданных нами цифровых интеллектов есть нечто, что делает их намного сильнее того биологического интеллекта, что у нас есть. Какое будущее вы видите для своих детей? Я не примирился с тем, что сверхинтеллект может сделать с будущим моих детей. Я то в порядке. Мне 77. Скоро я уйду отсюда. Но я думаю о своих детях, о детях молодых друзей, о племянниках и их детях. Но я не хочу думать о том, что может случиться. Это может быть ужасно. Илону Маску задали как-то похожий вопрос: «Какие советы он бы дал своим детям в мире, где технический прогресс только усиливается?». Тот редкий случай, когда Маск молчал около 15 секунд Никто не знает, что произойдет Мы никогда не были в такой ситуации. Нам никогда не приходилось иметь дело с чем-то умнее нас. И мы понятия не имеем, как с этим справиться. И любой, кто скажет, что он точно знает, что произойдет и как с этим справиться, — говорит ерунду. Мы не знаем, как оценить вероятность того, что он нас заменит. Мой друг Ян Лекун говорит: «Нет-нет-нет, мы создаем эти штуки и мы всегда будем их контролировать. Мы создадим их послушными». А другие люди, вроде Юдковского, говорят: «Нет-нет-нет, эти штуки точно нас уничтожат. Если кто-нибудь создаст это (сверхразум), оно нас уничтожит». И он в этом уверен. Кто прав? Я думаю, обе эти позиции — крайности. Скорее всего, правда посередине. Я не могу назвать точную цифру. Говоря, что существует 10–20% шанс, что ИИ нас уничтожит, но это моя интуиция. Я все еще надеюсь, что мы успеем понять, как создать их так, чтобы они никогда не захотели нам навредить. Два противоположных мнения на угрозу ИИ от Яна Лекуна и Элиезера Юдковского. Оба — влиятельные мыслители в области ИИ. Лекун — лауреат премии Тьюринга и один из создателей глубинного обучения. Юдковский — исследователь в сфере ИИ Почему ИИ не остановить? Как я уже сказал ИИ хорош для слишком многих вещей. Он великолепен в здравоохранении, в образова��ии и, более-менее, в любой другой отрасли, где используются цифровые данные. Так что люди никогда не остановят разработку. Еще мы не собираемся это останавливать, потому что ИИ хорош для боевых роботов, и ни одна из стран, которые продают оружие, не захочет это останавливать. Например, в Европе есть закон о регулировании искусственного интеллекта. Это хорошо, что он существует. Но он не купирует большинство главных угроз. В нем прямо прописано, что эти правила не распространяются на военное применение ИИ. Это безумие. Регламент Regulation (EU) 2024/1689 (AI Act) Европейского Союза. Там реально есть такая запись: «Настоящий регламент не применяется к системам ИИ, используемым исключительно в военных, оборонных или целях национальной безопасности» Так что правительства готовы регулировать компании и людей, но они не готовы регулировать самих себя. Другая причина, почему ИИ не остановить, это капитализм. Большие компании хорошо служат нам, производят много товаров и услуг. Но по закону они просто обязаны пытаться максимизировать прибыль. А это не то, чего вы хотите от людей, разрабатывающих эту штуку. В 2024 году генсек ООН Антониу Гутерриш заявил , что крупные технологические компании безрассудно гонятся за прибылью от ИИ, не думая о рисках для общества Еще есть политики. Они решают, что вредит обществу, а что нет. Но что если политик принадлежит компании, разрабатывающей ИИ? Это не очень хорошо. К тому же некоторые политики могут просто не понимать эту технологию. Кибератаки В период с 2023 по 2024 год число кибератак выросло примерно на 12 200%. Вероятно, это произошло из-за больших языковых моделей, которые значительно упрощают фишинговые атаки. Кто не знает, фишинг — это когда вам присылают сообщение вроде: «Привет, я твой друг Джон. Я застрял в Сальвадоре. Не мог бы ты перевести деньги?». Мошенники получают ваши данные ваших аккаунтов и крадут ваши деньги. А теперь с помощью ИИ они могут клонировать и ваш голос, и лицо. ИИ очень терпелив. Он способен просматривать и взламывать огромные объемы кода — то, на что у человека ушли бы недели или даже годы. Но самое тревожное, возможно, уже к 2030 году, ИИ сможет сам разрабатывать новые способы атак, о которых ни один человек никогда не думал. Машины могут делать новые выводы из гораздо большего объема данных, чем когда-либо видел человек. Я регулярно сбрасываю резервную копию своего ноутбука на жесткий диск. Знаете, если весь интернет рухнет, у меня останется ощущение, что моя информация все еще со мной. В 2024 году инженер Arup перевел мошенникам 20 млн фунтов стерлингов после видеозвонка с «руководством», созданного нейросетью. ИИ мошенников настолько точно имитировал голос и лицо, что сотрудник был точно уверен, что общается с настоящим боссом Биологическое оружие Требуется всего лишь один сумасшедший парень с обидой. Он немного знает молекулярную биологию, но отлично разбирается в ИИ и просто хочет уничтожить весь мир. В настоящее время можно создавать новые вирусы относительно дешево, используя ИИ. Для этого не нужно быть очень опытным молекулярным биологом. И это очень страшно. Могут ли страны профинансировать программу для небольшой группы ученых, чтобы создать вирус, который уничтожит их врагов? Да, может. Но они будут беспокоиться, что другие правительства сделают с ними то же самое. То есть они будут учитывать риск того, что вирус распространится и на их страны. Надеюсь, это поможет удержать ситуацию под контролем. Такая плашка вышла у меня в ChatGPT, когда я задал «опасный» вопрос. Фильтр безопасности сработал. Но еще недавно были случаи, когда подростки обходили подобную защиту и кончали жизнь самоубийством (после этого OpenAI заявила, что ужесточила контроль) Вмешательство в выборы Если вы хотите выиграть выборы с помощью ИИ, очень действенный способ — это создать целевую политическую рекламу, направленную на избирателя, на которого у вас собрано досье. Любой, кто попытается это провернуть, постарается собрать как можно больше данных о каждом человеке в электорате. Вы знаете, сколько они зарабатывают. Где, когда и с кем они ужинают. Вы знаете о них все. Как только получите эти данные, вам станет очень легко манипулировать людьми. Как? Ну вы можете заставить ИИ отправить им сообщения, которые они найдут убедительными — например, призывы не голосовать. За два дня до праймериз в Нью-Гэмпшире тысячи избирателей получили звонок с голосом Байдена: «Не идите на выборы!». Позже выяснилось, что это был дипфейк, созданный нейросетью для срыва голосования. Впрочем, Байден тогда все равно выиграл праймериз Смертоносное автономное оружие Эти штуки убьют вас, приняв решение «нажимать курок» самостоятельно. Я полагаю, возможность создавать такое оружие, является великой мечтой любого военно-промышленного комплекса. У больших, могущественных стран всегда есть возможность вторгаться в меньшие, более бедные страны. Они просто более могущественны. Но если вы делаете это, используя настоящих солдат, вы получаете тела, возвращающиеся в мешках. И родственникам убитых солдат это не понравится. Так что вы получите что-то вроде Вьетнама. В конце концов, в стране возникнет много протестов. Если вместо тел, возвращающихся в мешках, будут мертвые роботы, протестов будет гораздо меньше. И военно-промышленному комплексу это понравится гораздо больше, потому что роботы дорогие. У вас есть что-то, что может быть уничтожено и его замена стоит дорого — это было бы для торговцев оружием просто великолепно. Большие страны смогут вторгаться в малые страны гораздо легче и чаще, потому что их солдаты не гибнут. И машины, наделенные интеллектом, будут умнее в искусстве ведения войны, поэтому они окажется более смертоносными. Я думаю, что все крупные оборонные ведомства прямо сейчас заняты созданием такого оружия. В секторе Газа Израиль применил ИИ при выборе целей для авиаударов. Журналисты это назвали «фабрикой массовых убийств»: раньше армия выявляла 50 целей в год, теперь — до ста в день. ИИ собирал и анализировал данные спутников, дронов, поведение людей Вирус Сверхразумный ИИ может создать вирус. Очень заразный. Очень смертоносный. И он был бы у всех, прежде чем люди бы поняли, что происходит. Я имею в виду, если бы сверхинтеллект захотел от нас избавиться, он, вероятно, выбрал бы биологическое оружие. Оно безопасно для него. Какой же способ выберет ИИ? Способов слишком много — нет смысла гадать, какой он выберет. Мы просто не знаем сможет ли человечество создать сверхинтеллект таким, чтобы он не захотел захватить власть и причинить людям вред. Наша задача — сделать так, чтобы ему вообще не пришло в голову это сделать. Вот над чем мы должны проводить исследования. Если мы вымрем, не попробовав, это будет глупостью. Если бы вы узнали, что через 30-50 лет ИИ уничтожит человечество, чтобы вы сделали? Я бы призвал людей давить на правительства. Государства должны обязать разработчиков сделать ИИ безопасным. Сами они этого делать не будут — на этом не заработаешь. Исследователь Джозеф Карлсмит прогнозирует , что к 2070 году есть 10% шансов на то, что ИИ выйдет из-под контроля и подчинит себе экономику, военных и инфраструктуру (энергосети, транспорт, интернет и др.). Ну и само собой, люди вымрут Один из ваших ваших студентов Илья Суцкевер ушел из OpenAI. Почему? Я думаю, он ушел, потому что у него были серьезные опасения по поводу безопасности ИИ. Мы обедаем с ним в Торонто время от времени. Там живут его родители. Он не говорит, что происходило в OpenAI. Но я хорошо знаю Илью — него хороший моральный компас. Он не похож на кого-то вроде Маска, у которого тот отсутствует. Я не знаю деталей, но, почти уверен, что OpenAI обещала выделить много ресурсов на безопасность ИИ, но потом начала сокращать эту долю. Думаю, это одна из причин его ухода. Вероятно, он был самым важным человеком в разработке ChatGPT ранних версий, таких как GPT-2. Илья Суцкевер — сооснователь OpenAI и автор нейросети AlexNet. Родился в 1986 году в Нижнем Новгороде. В детстве эмигрировал в Израиль, потом в Канаду. Ушел из OpenAI в 2024 году. В интервью тоже утверждает, что ИИ может быть непредсказуем и опасен У Сэма Альтмана хороший моральный компас? Посмотрим. Я не знаю Сэма, поэтому не комментирую. Несколько лет назад в одном интервью он заявил что-то вроде: «ИИ, вероятно, убьет всех нас». Теперь он говорит: «Вам не нужно бояться этих штук». Я подозреваю, что последние его слова продиктованы не поиском истины, а погоней за деньгами и властью. Ну или какой-то комбинацией всего этого. Можно ли замедлить развитие ИИ? Я не верю. Существует конкуренция между странами и конкуренция между компаниями внутри страны. Все это заставляет развиваться ИИ все быстрее и быстрее. Если одна сторона притормозит, другая продолжит. Например, если замедлятся США, Китай не станет ждать. С 2013 по 2024 год США вложили в развитие искусственного интеллекта $471 млрд — больше, чем весь остальной мир. За ними идут Китай ($119 млрд) и Великобритания ($28 млрд). Главные направления — инфраструктура ИИ, медицина и автономный транспорт Безработица В прошлом из-за новых технологий люди не теряли работу. Просто создавались новые рабочие места. Например, когда появились банкоматы, кассиры не исчезли. Они перешли с выдачи денег на обслуживание клиентов в офисе и более сложные операции за компьютером. Но с ИИ все иначе. Это больше похоже на промышленную революцию, когда машины заменили физический труд. Сегодня никто не нанимает людей копать канавы, потому что экскаватор делает это быстрее и дешевле. Точно так же ИИ заменит рутинный интеллектуальный труд. Во многих профессиях один человек вместе с ИИ-ассистентом сможет выполнять работу, которую раньше делали десять человек. ИИ уже увольняет людей: за первые месяцы 2025 года из-за нейросетей в США сократили свыше 10 000 сотрудников, а всего с 2023-го — более 27 000. Вакансий для выпускников стало на 15% меньше, зато «ИИ» в резюме — в четыре раза больше Но ведь ИИ создаст новые рабочие места? Так часто говорят про новые технологии. Раньше это работало. Но не сегодня. Если ИИ выполняет всю рутинную умственную работу, то какие новые профессии он создаст? Чтобы остаться востребованным, человеку придется быть очень высококвалифицированным — настолько, чтобы ИИ не смог сделать работу лучше него. Надежда «все само наладится, как с банкоматами» на этот раз не сработает. «ИИ не заберет вашу работу. Человек с ИИ заберет вашу работу» Да, это верно. Для многих профессий это означает одно — людей станет меньше. Моя племянница отвечает на жалобы в системе здравоохранения. Раньше одно письмо занимало у нее около 25 минут: прочитать, подумать, придумать что ответить, написать. Теперь она просто загружает текст в ChatGPT, получает черновик, быстро его правит — и готово. На все про все пять минут. Она делает работу пяти человек. А значит, нужно в пять раз меньше сотрудников. Во многих сферах ИИ не «поможет людям работать лучше» — он просто сократит число людей, которые нужны для этой работы. ИИ может заменить до 300 млн рабочих мест по всему миру. Под ударом — бухгалтеры, юристы, копирайтеры и дизайнеры. А врачи, инженеры и руководители останутся востребованными — там, где нужна эмпатия и стратегическое мышление ИИ заменит наш интеллект? Да. Рутинный интеллектуальный труд становится таким же дешевым и массовым, как когда-то физическая сила после появления машин. Сначала машины заменили мышцы. Source: https://habr.com/ru/articles/962414/