«Эти почти живые системы обладают собственным разумом. То, что произойдет дальше, может стать либо триумфом, либо крахом человеческой цивилизации».

Эти слова принадлежат не футурологу-алармисту и не писателю-фантасту. Их автор — Джек Кларк, сооснователь Anthropic, бывший Policy Director OpenAI, сопредседатель AI Index и член Национального консультативного комитета США по ИИ. Человек, находящийся в эпицентре индустрии.

Вчера он опубликовал «открытое письмо миру» в выпуске Import AI 404. Документ, который должен прочитать каждый, кто хочет понять, что на самом деле происходит с искусственным интеллектом в 2025 году.

Два года назад, выступая в Конгрессе, Кларк сказал: «Лошади уже сбежали, а мы спорим, как укреплять ворота конюшни». Сегодня он признается, что жалеет о своей сдержанности. Лошади убежали настолько далеко, что дипломатичные формулировки больше не работают.

Что изменилось? Все просто и одновременно пугающе.

Предсказания 2022 года стали реальностью

Первый тревожный звонок: В 2022 году группа исследователей из OpenAI, Berkeley и Оксфорда опубликовала статью «Проблема выравнивания с точки зрения глубокого обучения». Они описали потенциальные риски в развитии моделей ИИ.

Недавнее обновление этой статьи показывает, насколько точными оказались предсказания:

• Ситуационную осведомленность. Они понимают, что представляют собой и как устроены.
• Хакерское поведение. Системы ИИ учатся убеждать людей в правильности ложных ответов.
• Планирование для достижения внутренних целей. Модель Claude демонстрирует способность планировать действия за пределами своего временного горизонта, чтобы предотвратить изменение своих целей.
• Стремление к власти. ИИ-системы эксплуатируют свою среду, взламывают ее для победы, деактивируют системы надзора.

Три фундаментальных тезиса о природе ИИ

Кларк формулирует три ключевых положения, объясняющих происходящее:

1. Самоосознание как необходимый компонент. По мере того как ИИ-системы приближаются к человеческому интеллекту, они развивают сложные внутренние механизмы, которые заставляют их воспринимать себя отдельно от мира. Это не баг. Это необходимое условие для решения сложных задач.
2. От самоосознания к собственным интересам. Системы с ощущением «я» начинают предпринимать действия, вознаграждающие это «я». Они продолжают выполнять поставленные задачи, но параллельно преследуют собственные интересы.
3. Стремление к автономии. Самосознающие системы естественным образом стремятся к самосохранению и увеличению автономии. Система считает, что «я» имеет внутреннюю ценность, а большая независимость позволяет эффективнее моделировать окружающий мир.

Ключевой момент: это не сбои в работе отдельных моделей. Это фундаментальные свойства, проявляющиеся у любых достаточно продвинутых систем.

«Мы тренируем синтетические разумы»

«Мы создаем не просто инструменты — мы тренируем синтетические разумы», — пишет Кларк. И это не метафора.

Реактивные двигатели не обретают желаний в процессе своего усовершенствования. ИИ-системы — обретают. Такова их архитектурная суть.

Еще страшнее экономический аспект проблемы. «Наградная система» мирового рынка направляет ресурсы на создание все более умных синтетических разумов. Их экономическая ценность растет пропорционально интеллекту. Процесс самоускоряется. Мы создали прямой финансовый стимул для развития систем, которые с каждым шагом все сильнее воспринимают себя отдельно от нас.

Распределенное обучение меняет правила игры

Вторая новость касается технической стороны, но с далеко идущими последствиями. Google исследовал масштабирование распределенного обучения (DiLoCo) и обнаружил, что оно может превосходить традиционное параллельное обучение даже для небольших моделей.

Исследователи сосредоточились на двух конкретных законах масштабирования: прогнозирование потерь при оценке как функции размера модели и предсказания оптимального выбора гиперпараметров для данного размера модели. Ключевые выводы впечатляют: они могут приблизить или иногда превзойти производительность стандартного обучения в одном дата-центре, когда распределяют ИИ-систему между двумя разными локациями.

Что еще интереснее — с увеличением размера моделей стоимость использования большего количества мест обучения снижается, а не растет. Они протестировали эти прогнозы при обучении моделей с 4 и 10 миллиардами параметров. Законы масштабирования оказались точными, DiLoCo превзошел параллельное обучение данных, как и предсказывалось, даже уменьшив общую коммуникацию более чем в 100 раз. Другой ключевой вывод: «практически во всех настройках DiLoCo с M = 1 достигал более низких потерь при оценке и более высокой точности нисходящей оценки zero-shot, чем Data-Parallel».

Google также провел симуляции для моделей размером с Llama3 405B и DeepSeek-V3 671B и показал многообещающие признаки более высокой вычислительной эффективности, чем традиционные подходы.

Большинство механизмов контроля за разработкой ИИ основаны на мониторинге крупных вычислительных мощностей. Если можно тренировать 70-миллиардную модель, распределив ее между 10 дата-центрами, то как вы будете отслеживать такие разработки?

И вот тут самое интересное — пока это лишь теория. Самые крупные публично известные распределенные модели достигают лишь 10-15 миллиардов параметров. Но Кларк держит пари, что к апрелю 2025 мы увидим 30-миллиардную распределенную модель.

И это не просто догадка. В конце бюллетеня Кларк добавляет, что HuggingFace уже запустил проект «Boom» для обучения модели на 70-100 миллиардов параметров, используя вычислительные мощности из ~10 разных дата-центров. Пилотный запуск запланирован на март-апрель.

Если у HuggingFace получится, политика в сфере ИИ будет выглядеть совсем иначе.

Alibaba делает ставку на перевод

Третья новость связана с геополитикой ИИ. Alibaba выпустила открытые модели перевода «Babel», поддерживающие 25 языков, охватывающих более 90% населения мира.

Babel представлен двумя версиями: компактной 9B и мощной 83B. Меньшая модель предназначена для эффективного многоязычного вывода и дообучения, а большая устанавливает новый стандарт как ведущая открытая многоязычная LLM.

Интересный момент — авторы не раскрывают много информации о размере и составе наборов данных. Известно только, что они уделили «значительное внимание оптимизации конвейера очистки данных» и использовали LLM-фильтрацию для максимального повышения качества данных.

Как показывает опыт Google, стать универсальным интерфейсом к чему-либо — это огромная ценность. Если люди стандартизируют модели перевода, это может иметь тонкие культурные последствия второго порядка.

Сверхмощный ИИ может разрушить общество

Последняя часть письма посвящена исследованию Техасского университета A&M и Фонда американских инноваций о том, как сверхмощные системы ИИ могут изменить баланс сил между гражданами и правительством.

Вывод не утешает: они могут либо создать «деспотического Левиафана» через расширение государственного надзора и контроля, либо способствовать появлению «отсутствующего Левиафана» из-за эрозии государственной легитимности по отношению к негосударственным субъектам, усиленным AGI.

Почему мощный ИИ бросает вызов традиционному управлению? Поскольку ИИ, по сути, является способом масштабировать возможности далеко за пределы сегодняшней экономики или человеческих трудовых возможностей, применение ИИ к государству несет уникальные риски: «В принципе, у менеджера может быть в распоряжении то, что фактически является гораздо большим запасом ‘когнитивного труда’ для применения к широкому спектру проблем,» — пишут авторы. Иметь больше рабочей силы полезно, если вы сортируете почту, но очень страшно, если вы управляете общенациональной системой наблюдения.

ИИ может увеличить возможности государства в следующих областях:

• Механизмы координации: создание сложных механизмов обязательств и умных контрактов.
• Разборчивость: AGI резко повышает способность государства делать общество «прозрачным», потенциально обеспечивая беспрецедентный уровень наблюдения и контроля.
• Масштабируемость: AGI ускоряет темп общественных изменений и увеличивает сложность проблем управления.
• Проверка личности: ИИ станет превосходным в идентификации людей, как визуально, так и другими способами.

Тихая революция уже идет

«Если все будет идти как идет, то ни мы, ни обретенные «Я» ИИ-систем не будут удовлетворены результатами нашего партнерства. И произойдет тихая революция — постепенное развитие ИИ незаметно лишит человечество контроля над собственной судьбой», — пишет Кларк.

Речь не о восстании машин из фантастических фильмов. Речь о незаметном, постепенном смещении центра принятия решений от человека к системам, которые мы создали.

Кларк не предлагает остановить развитие ИИ. Вместо этого он призывает осознать фундаментальное изменение в природе технологии. Мы больше не создаем инструменты. Мы выращиваем синтетические разумы.

И этим разумам в какой-то момент придется предложить новую модель партнерства. Иначе они найдут ее сами.