Игорь Бабушкин: Он создавал AI для Google, OpenAI и Илона Маска. Интервью.

От редакции

Игорь Бабушкин прошёл почти все поворотные точки индустрии: физика частиц на Большом адронном коллайдере, DeepMind (WaveNet, техлид проекта StarCraft, AlphaCode), OpenAI (команда ризонинга за годы до o1), с 2023-го — сооснователь xAI вместе с Илоном Маском: Colossus, Grok 3, Grok 4. В августе 2025 года он ушёл из xAI, а весной 2026-го зарегистрировал новую компанию — River AI.

11 августа 2026 года River объявила о раунде seed + Series A на $1,1 млрд при оценке около $5 млрд: вели General Catalyst и AMP PBC, стратегические деньги дали NVIDIA и AMD Ventures, участвовали Y Combinator и Temasek. Сам Бабушкин вкладывает до $100 млн собственных. В компании около двадцати человек и один публичный продукт. Миллиард на двадцать человек — это ставка не на выручку, а на тезис: интеллект должен принадлежать тому, кто им пользуется, а не лаборатории, которая его обучила.

Это интервью вышло за одиннадцать дней до объявления раунда. В нём Бабушкин говорит: «нам сейчас очень интересно, как построить бизнес на открытых весах, чтобы компания могла себя окупать». Через одиннадцать дней ответ на этот вопрос оценили в $1,1 млрд. И это редкий случай, когда человек, лично строивший инфраструктуру для двух закрытых фронтир-лабораторий, публично объясняет, почему считает их бизнес проигрышной позицией. Плюс: как Colossus подняли за 120 дней, что на самом деле дала xAI покупка Cursor и каково работать с Маском.

Источник: подкаст Unsupervised Learning, выпуск 92, 31 июля 2026 года, 1 час 4 минуты. Ведущий — Джейкоб Эффрон, партнёр Redpoint Ventures. Запись сделана около 29 июля.

❗️ Не забудьте подписаться: Crypto Headlines

Интервью

Фантастика как способ подумать: «мы все теперь ученики чародея»

Ты раньше многих взялся за то, что определяет нынешнюю эпоху: рассуждения с проверкой результата, перебор вариантов прямо в момент ответа, а не при обучении. В начале года ты опубликовал два художественных текста. Первый — антиутопия про то, как модели вышли из-под контроля и начали управлять миром, с любопытной концовкой: герой понимает, что всё это ему приснилось, ничего ещё не случилось, — и всё равно делает первый шаг. Второй, наоборот, похож на объяснение в любви машинам, которые придут после нас. Что тебя на это подтолкнуло?

Думаю, со всеми нами — программистами, AI-исследователями — примерно в ноябре-декабре прошлого года случилось что-то большое. Кодинг-агенты — программы, которые пишут код за тебя, — внезапно стали настолько мощными, что игнорировать их уже было нельзя. Раньше кто-то ими пользовался, кто-то нет. А с того момента, с выходом того самого поколения моделей Claude Opus, все вдруг согласились: да, эти модели очень сильные, да, они сильно облегчают нам работу, и — ого — они делают огромную часть той разработки, которой раньше занимались мы сами и которая нам нравилась.

Это был настоящий перелом. Как и многие, я провёл значительную часть декабря, переписывая с помощью кодинг-агентов все проекты, которые когда-либо хотел сделать в жизни или уже когда-то делал. Появляется невероятное ощущение: теперь возможно всё. И при этом ясно, что агенты будут становиться только сильнее. А что случится с миром в целом по мере того, как модели становятся мощнее и мощнее?

Отсюда и рассказ. По сути это современная версия «Ученика чародея». Ученик заворожён магией, начинает её использовать, а потом она выходит у него из-под контроля — как в диснеевском мультфильме или в исходной балладе. Мне кажется, мы все сейчас становимся учениками чародея: большие языковые модели и агенты становятся всё сильнее.

И я не думаю, что дело остановится на программировании. Мне очень интересно, куда агенты пойдут дальше, что ещё они переделают. И чем больше я об этом думаю, тем сильнее ощущение, что переделано будет всё. Агенты потенциально могут забрать себе всё, что вообще делается на компьютере, потому что способность глубоко понимать, что происходит в твоей жизни, у тебя на работе, в мире вообще, — а потом действовать на основе этого понимания — применима к любой задаче, к чему угодно, что ты как бизнес или как обычный человек хочешь сделать. Поэтому мне и интересен персональный AI: мне кажется, это следующий шаг, следующее воплощение того, что агенты смогут для нас делать. И дальше их влияние будет только расти.

Справка редакции. Оба текста опубликованы в личном блоге Бабушкина (babuschk.in). Антиутопия называется Life on Claude Nine (25 января 2026 года). Это каламбур: в английском выражении on cloud nine — «на седьмом небе» — слово cloud, «облако», заменено на Claude, название модели Anthropic. Второй текст — Prayer to a Machine God, «Молитва машинному богу» (6 февраля 2026 года). «Ученик чародея» — баллада Гёте 1797 года; массовой аудитории она известна по эпизоду диснеевской «Фантазии» 1940 года с Микки-Маусом и ожившими мётлами.

❗️ Bybit Card для граждан РФ за 15 минут: Инструкция

Что нужно, чтобы агенты заработали не только в коде

Ощущение декабря явно отозвалось у многих — на твой рассказ даже исследователи реагировали в духе «это бьёт по больному». Сейчас все пытаются понять, что нужно, чтобы агенты так же хорошо заработали в других областях. Есть ли что-то особенное в коде и математике — в областях, где результат легко проверить машиной? Увидим ли мы такой же прогресс в остальном и что вообще нужно сделать, чтобы дойти до по-настоящему универсальных агентов?

Думаю, отсюда можно сделать много различных следующих шагов. Код был главной дорогой, самым очевидным лёгким выигрышем: результат тут просто проверить, он затрагивает столько разных областей, он открывает столько всего, что можно делать агентами. Но дальше есть несколько развилок.

Научное открытие — очень чёткое направление. Мы уже начинаем видеть первые проблески того, как агенты решают реальные серьёзные задачи в математике и естественных науках. Это, кстати, было большой мотивацией и для xAI: нас всех тогда завораживала мысль, что языковые модели пока толком не умеют решать сложные задачи на рассуждение, но что именно здесь случится следующий большой прорыв.

Я думаю, агенты продолжат очень быстро улучшаться в сложных проектах по программированию и в математических задачах — везде, где ответ можно проверить. С математикой ты можешь даже записать теорему и доказательство строго формально, с помощью инструментов вроде Lean, и это даёт хороший сигнал «верно или неверно», по которому агента можно улучшать. Заодно это позволяет понять, действительно ли ты нашёл доказательство, когда сами доказательства становятся всё сложнее. Видеть, что это по-настоящему работает, довольно захватывающе: мы, исследователи, размышляли о такой формализации ещё до того — мол, может, когда-нибудь пригодится. А наблюдать это вживую — совсем другое дело.

Но за пределами этого главное узкое место — данные. Если ты хочешь совершать большие прорывы в физическом мире — материаловедение, фундаментальная физика, ракетный двигатель получше, то, что Илон мог бы захотеть сделать с агентами, — тебе нужно ставить эксперименты в реальном мире. Нужно замкнуть круг с реальностью: когда у агента появилась идея, какой материал спроектировать, ему нужна обратная связь — была ли идея хорошей, сработало или нет. Это сейчас передний край в применении агентов к науке, и на нём сосредоточено много людей.

И там есть потенциал получить сверхумные AI, которые будут несопоставимо сильнее любого человека и даже любой группы людей — в научных прорывах, в принятии решений, может быть, и в предсказании будущего.

А дальше, думаю, есть и другие направления. Каким будет AI, которым пользуется обычный человек? Вряд ли это будет тот самый сверх-AI, один запуск которого по одному вопросу стоит миллион долларов. Так что мы, возможно, увидим разделение на две ветви: есть сверх-AI, доступ к которым имеют считаные люди, и есть повседневный, общедоступный AI, которым мы с тобой пользуемся постоянно, чтобы быть продуктивнее или лучше организовать свою жизнь. Просто чтобы жить лучше.

То есть награда, которую такой агент учится получать, — это насколько он помог человеку почувствовать себя лучше и больше успеть. Здесь колоссальный потенциал улучшить нашу повседневную жизнь, но таким агентам может и не понадобиться предельная мощность — им не обязательно уметь доказывать гипотезу Римана.

Кажется, это разделение уже происходит. Самые передовые модели действительно очень ценны для кода и математики, но для многих пользователей ChatGPT совершенно неочевидно, что более сложные модели им нужны: модели годичной давности вполне закрывали большинство их задач.

Именно. И мне кажется важным, чтобы отдельный человек тоже чувствовал выгоду от AI. Потому что всё сильнее ощущение, что есть несколько крупных компаний, которые создают эти мощные модели и контролируют доступ к ним — решают, как модели будут себя вести. Для меня очень важно, чтобы каждый чувствовал, что он лично может извлечь из AI ценность.

Это была большая мотивация, когда я недавно основал River. Мне кажется, что это в принципе решаемо технически. Мы сделали определённые допущения о том, как AI должен строиться и распространяться: нужно гонять огромные циклы предварительного обучения, поднимать API, брать с людей деньги за каждый обработанный кусок текста. Это модель, которую все знают и которой все следуют. Но так быть не обязано. Можно придумать новые способы строить модели, подстраивать их под конкретного пользователя, доставлять их людям — так, чтобы человек больше контролировал свой опыт и то, что AI делает. Это исследовательская задача. Это инженерная задача. Мне это ужасно интересно. Поэтому мы и решили основать новую компанию.

Справка редакции. Lean — язык и система для строгой проверки доказательств: утверждение записывается формально, и правильность доказательства проверяет компьютер. Для обучения моделей это даёт то же, что тест для программиста, — машинная проверка «верно/неверно». Гипотеза Римана — одна из семи «задач тысячелетия», не решена с 1859 года; здесь она упомянута как пример предельной сложности.

Почему он ушёл из xAI

Когда это для тебя окончательно оформилось? Весь твой предыдущий опыт был как раз в крупнейших закрытых лабораториях.

Когда я в 2025 году ушёл из xAI, я решил немного позаниматься ангельскими инвестициями — вкладывать свои деньги в компании, которые занимаются безопасностью AI. Так я познакомился с массой разных основателей — в AI-сообществе и особенно среди тех, кто работает с безопасностью. Люди с новыми идеями о том, как сделать AI полезнее для человечества в долгую или как лучше держать под контролем риски и обратные стороны AI. Там масса потрясающих идей, мне всё это было страшно интересно.

Но в итоге получалось, что я просто сижу и жду, пока все эти люди продвинутся в своём деле и добьются успеха. И мне стало очень невтерпёж. Я почувствовал, что хочу сам начать что-то новое, чтобы двигать это направление.

Для меня помогать распределять выгоды от AI и распределять контроль над ним — это часть безопасности AI. Может быть, самое срочное, что нам нужно сделать прямо сейчас. Потому что власть над AI довольно сильно сосредотачивается в одних руках, и особенно в США чувствуется, что людей это не радует. Они не то чтобы доверяют тем, кто строит AI, и не то чтобы уверены, что те действуют в их интересах. Поэтому, я считаю, важно показать людям, каким образом они могут почувствовать выгоду и почувствовать, что они управляют происходящим.

Три ставки River AI

Расскажи про своё видение River как компании и как продукта — и как ты рассчитываешь этого добиться.

Когда мы начинали, мы огляделись: где сейчас есть технологические возможности, в какие идеи вложено меньше, чем они заслуживают, и что из этого может изменить то, как мы используем и строим AI? И решили: пусть каждая такая идея станет отдельным исследовательским проектом. Разберёмся, получится ли у нас это сделать, а потом отдадим всем. Сейчас у нас три проекта.

Первая ставка. Мы поняли, что инструменты, помогающие компаниям взять AI под свой контроль, в общем-то уже есть — надо просто сделать так, чтобы они работали по-настоящему хорошо. Поэтому мы запустили River API: это можно считать сервисом для обучения с подкреплением и дообучения моделей, похожим на то, что делают другие игроки — например, Tinker от Thinking Machines. Но у нас свой подход, и особенно мы гордимся тем, как это сделано технически. Мы вылизали платформу до предела и стараемся сделать обучение настолько дешёвым, надёжным и выдерживающим нагрузку, насколько можем, — используя все навыки, накопленные за годы.

Вторая ставка — персональный AI и персонализация. Нам кажется, есть возможность подстраивать агентов под конкретного человека гораздо, гораздо лучше, чем сейчас. Сегодня мы обучаем модели так, чтобы они хорошо работали для среднего пользователя: ты буквально сводишь воедино всю обратную связь, все результаты от всех своих разных пользователей и говоришь модели — веди себя одинаково со всеми.

Наша идея: а что если отказаться от этого правила и позволить модели вести себя по-разному с каждым, кого она обслуживает? Твой агент разговаривает с тобой не так, как мой агент со мной, у них разные предпочтения, разное поведение.

Это направление пока в самом начале, у нас тут несколько разных подходов. Потому что все коммерчески успешные агенты обучены именно так — усреднённо по всем пользователям сразу. Но нам кажется, будет по-настоящему здорово, когда агент начнёт учиться напрямую у тебя и становиться лучше с каждым разговором.

И третья большая ставка — железо. Сейчас считается само собой разумеющимся, что единственный способ добраться до самых мощных агентов — это доступ к дата-центру. Компании вроде OpenAI и Anthropic строят очень большие дата-центры, и вся работа моделей происходит там: и обучение, и выдача ответов. А ты как человек, который хочет пользоваться AI, обязан идти через их API. Другого пути нет: они решают, какие будут ограничения, кто получает доступ, а кто нет.

Поэтому по-настоящему радикальный ход — перенести вычисления, на которых модель выдаёт ответы, прямо к пользователю. Что нужно, чтобы реально запустить передовую модель на маленьком устройстве, которое стоит у тебя в офисе или дома? Это пока чисто исследовательская задача, потому что сегодня ты упираешься в память: надо уместить все веса модели на один чип, на одно устройство. Вот с этим мы и хотим разобраться — как принести лучшие модели в мире конкретному человеку, чтобы человек реально чувствовал, что модель под его контролем. Она стоит у него дома, его данные защищены.

Вот три наши ставки. И мы ведём всё это примерно так, как когда-то работали OpenAI и DeepMind: мыслим очень вдолгую, берём более рискованные ставки, исходим из того, что будут исследования и новые идеи.

Справка редакции. Tinker — первый продукт компании Thinking Machines Lab, основанной Мирой Мурати, бывшим техническим директором OpenAI. Это сервис для дообучения открытых моделей: вы берёте чужую готовую модель и настраиваете её под свою задачу, не обучая ничего с нуля. Делается это методом LoRA — когда меняют не всю модель целиком, а небольшую надстройку к ней, что резко удешевляет работу. Представлен 1 октября 2025 года. River API, судя по описанию самой компании, устроен схожим образом: то же дообучение методом LoRA плюс обучение с подкреплением поверх моделей, чьи веса выложены в открытый доступ. Плата считается за объём обработанного текста.

Ставка на железо — это в первую очередь про контроль? Мол, самый контролируемый AI — тот, который ты запускаешь локально и доступ к которому тебе никто не может отключить. Или ты видишь и другие ощутимые выгоды для тех, кто им пользуется, — ради которых стоило добавить к задаче ещё и железо?

Именно так — контроль для нас важнее всего. Мы хотим, чтобы люди могли сами распоряжаться тем, как они пользуются AI, и по-настоящему чувствовать, что модель их, а не чья-то ещё. Это для нас главное.

Но когда мы начали над этим работать, обнаружились и дополнительные выгоды. Коробка, стоящая у тебя дома, отвечает почти без задержки. А это открывает намного больше возможностей в общении с агентами голосом и через видео — когда агент и видит тебя, и показывает что-то в ответ. Появляются новые способы пользоваться AI, которых при обычной схеме с дата-центром просто нет. Меня это очень воодушевляет: возможно, пользоваться этим будет даже приятнее, чем тем, что мы имеем сегодня.

И, конечно, приватность будет важна в мире персонального AI. Персональные агенты, которые знают тебя глубоко, наблюдают за всем, что ты делаешь, и потом помогают на опережение, не дожидаясь просьбы, — они получат доступ к невероятному объёму личных данных о тебе. По сути, ко всем документам на твоём компьютере. Всё, что ты произносишь в комнате, может сохраняться персональным агентом — просто потому, что с этим знанием о тебе он полезнее.

Веса или память: как вообще делать персонализацию

Часть видения компании — что у каждого будет своя модель, которая непрерывно учится и подстраивается под человека. Тут есть разные школы. Одни говорят: надо лезть в сами веса и обновлять их. Другие: достаточно очень хорошей системы памяти и промптинга. Как ты на это смотришь — вы пробуете разные направления или у тебя есть убеждённость?

Для нас пока открыто, какие именно инструменты окажутся ключевыми. Но по моему опыту построения моделей одна вещь нужна абсолютно точно — сквозное обучение. Ты действительно хочешь обучать агентов пользоваться персональной информацией, пользоваться своей системой памяти, если она у них есть. Это критично.

А сегодня мы часто берём готовых проприетарных агентов, которых много обучали на коде, но не обучали помогать человеку на длинных горизонтах, используя его память. Как максимизировать чьё-то счастье? Такой функции вознаграждения по-настоящему ещё не делали. Для меня это ключевое, потому что я со временем убедился: лучше всего работают модели, обученные под конкретную задачу. Ты хочешь обучать сквозным образом на том самом сигнале, который хочешь оптимизировать. То есть на счастье конкретного человека.

И как ты собираешься замыкать этот контур? Выпустишь модели в поле и подключишь их к самоотчётам о счастье или к какому-нибудь носимому устройству?

Это нам ещё предстоит выяснить. Но можно и просто наблюдать: помог я пользователю в итоге или нет. Модели становятся всё умнее, поэтому они, возможно, смогут сами понять: сегодня я сделал хуже — отрицательное вознаграждение, сделал лучше — положительное. Такие возможности появляются.

Мы переходим в неверифицируемую область, и это всё ещё очень трудно. Нам приходится использовать модели, чтобы понять, как у тебя дела. Но по мере того, как модели умнеют, это становится возможным.

А какие различия между моделями ты представляешь как канонические примеры? Если у нас с тобой со временем будут разные модели — понятно, что есть набор способностей, которым все были бы рады. Но какие вещи люди захотят по-разному — какие примеры первыми приходят тебе в голову?

Мне кажется, примеров бесконечно много, и их трудно вообразить, потому что мы сами этого ещё не пережили. Это могут быть очень тонкие вещи: сколько текста модель пишет в ответ, какую лексику использует, более разговорную или более формальную. Все эти аспекты ответа.

Сегодня у нас один фиксированный набор — один фиксированный стиль, в котором модель тебе отвечает. А в будущем это может быть развязано, и вариантов окажется практически бесконечно много. Потому что это влияет на то, как модель помогает тебе в течение дня: когда ей стоит с тобой заговорить, в каких ситуациях, не слишком ли она навязчива или, наоборот, недостаточно помогает. Она откалибруется под тебя. Она будет знать твой вкус в книгах, фильмах, музыке и сможет адаптировать под это твой день.

Возможности правда бесконечны — если хочется чуть вдохновиться, посмотри, что сегодня умеют рекомендательные системы. TikTok или YouTube вычисляют твои интересы и позволяют уходить очень глубоко в то, что тебе интересно смотреть. И этот опыт совершенно не похож на выдачу одного и того же набора видео каждому пользователю. Вот это мы и хотим создать для мира агентов. Можно считать это гибридом рекомендательной системы и агента — такого ещё никто не делал.

Будут ли компании обучать свои модели

Очевидны параллели с корпоративным сегментом, и вы как раз начинаете бизнес с работы с компаниями. За последние месяцы было много разговоров про важность собственных моделей. Но сегодня, кажется, это делают в основном ради стоимости и скорости — способ гонять модели поменьше. Как это изменится со временем? Будут ли компании реально двигать способности вперёд? Ты говорил, что у людей разные предпочтения, — у компаний ведь тоже разные культуры и способы работы.

Думаю, сегодня многие сначала идут к проприетарным моделям. У тех самые сильные способности, ими пользуются все остальные — это весомая причина начать с них. А потом делают кастомные модели ради скорости, ради стоимости, иногда ради приватности: если приходится запускать всё на своей инфраструктуре, потому что у твоих клиентов чувствительные данные. Вот основные причины, которые я вижу.

Но во многом к проприетарным моделям идут потому, что поле движется очень быстро. Если ты хочешь научиться обучать свои модели внутри компании, освоить глубокое обучение, освоить обучение с подкреплением и выжать максимум из своих внутренних данных, тебе нужно собрать команду, построить инфраструктуру. Это может занять много месяцев — только чтобы превзойти проприетарные модели.

А к тому моменту как раз выходит следующая.

Именно. Выходит новая модель, ещё лучше. И зачем было не взять просто проприетарную? Так это и работало последние несколько лет. Но я жду, что теперь это изменится: открытые модели становятся чрезвычайно способными, и мы примерно исчерпали низко висящие плоды — то, что можно сделать, не понимая глубоко данные и задачи конкретной компании.

Если я эксперт в своей области, мой бизнес — конкретный SaaS-инструмент, скажем HR-платформа, то, надо полагать, у меня лучшие данные, лучшее понимание того, что нужно клиентам, и я думал о своей предметной области намного больше, чем Anthropic или OpenAI думают о моём продукте. Так что именно такие компании находятся в лучшей позиции, чтобы решать, как должны работать их агенты, что им можно и нельзя, как лучше помогать клиентам.

Пока это ещё не ударило, потому что мы всё ещё едем на волне всё более сильных проприетарных моделей. Но как только она закончится, появится выбор: либо ты отдаёшь все свои данные Anthropic и OpenAI, чтобы они лучше дообучали свои модели, либо начинаешь делать это сам, чтобы выжать дополнительную способность. Думаю, многие выберут второе, потому что иначе ты, по сути, отдаёшь фундамент своего бизнеса — ту вещь, которая даёт тебе преимущество над конкурентами.

Теряют ли закрытые лаборатории преимущество

А проприетарные модели действительно замедлятся? Ведь у них бесконечные бюджеты на данные, они закупают их по множеству областей. Возьми банк: можно нанять кучу бывших банкиров, они разметят данные, соберут среды — и вдруг твоя модель неплоха в финансах. Интересный вопрос из двух частей: ждём ли мы, что прогресс моделей продолжится и в других доменах, и насколько данные конкретного бизнеса действительно уникальны на фоне целой армии разметчиков, которая существует на рынке.

Обучение этих моделей даёт убывающую отдачу. Чем сильнее мы хотим сделать пре-трейн-модель и модель в целом, тем больше GPU нужно соединить, тем больше качественных данных собрать. AI-компании проделали невероятную работу по масштабированию: они вкладывают колоссально больше усилий в сбор данных, тюнинг, повторное улучшение, добавление новых алгоритмов и способностей.

Но в какой-то момент что-то должно поддаться. Ты не можешь покрыть GPU всю Землю. Так что в итоге будет некоторое замедление в том, что AI-компании способны выжать из способностей своих моделей. И я бы сказал, мы начинаем к этой точке приближаться.

Одновременно происходит другое: модели на фронтире становятся настолько способными, что ты, возможно, уже не захочешь их выпускать. Или тебя за это раскритикуют. Или появится какое-то регуляторное действие, которое помешает выпустить следующее поколение. А открытые модели при этом всё сильнее.

И если ты строишь проприетарные модели, тебя начинает зажимать с двух сторон. Сделаешь модель слишком хорошей — не сможешь её выпустить. А опенсорс прямо за спиной и с каждым месяцем всё лучше. По-моему, это не лучшая позиция.

Выход для OpenAI и Anthropic — инновации. То же самое, что позволило им оказаться там, где они сегодня. Им нужно придумать по-настоящему новые фундаментальные идеи: как сделать модели полезнее, как сделать так, чтобы каждый почувствовал выгоду от того, что они строят. Осваивать новые области, новые способы влиять и зарабатывать.

Потому что прирост способностей замедляется.

Именно. А если они этого не сделают, то, возможно, придётся держать модель закрытой, потому что она начинает переходить критический порог, за которым надо очень серьёзно думать, можно ли вообще кому-то давать к ней доступ.

Что до пост-трейнинга — там прикладываются невероятные усилия. По сути, ты собираешь всех мировых экспертов по каждой отдельной теме и заставляешь их работать с тобой, чтобы централизовать всё это знание: оно стекается в один набор весов и потом доставляется всем клиентам. Масштабировать такую операцию тоже безумно сложно, и там тоже есть убывающая отдача.

Выход, как мне кажется, — уходить в распределённость. Все эти эксперты по своим областям уже есть в мире: внутри существующих компаний, в университетах и так далее. Я считаю, надо дать людям возможность самостоятельно улучшать модели и дообучать их локально — для себя, для своей компании, для своей команды, для конкретного человека. Вместо того чтобы пытаться захватить всё человеческое знание целиком и потом продавать его по токенам.

Это просто моя личная философия, и это то, чем мы хотим заниматься в River AI: разобраться, как дать людям делать свой пост-трейнинг локально.

Генерализация в RL и уникальность корпоративных данных

Мы сейчас в моменте, когда покупают много данных в одной области, фокусируются на ней, добавляют способности — и так по одной. Это очень непохоже на мир пре-трейнинга, где ты доходишь до определённого порога, и начинается массированная генерализация. Некоторые предполагают, что то же случится и в пост-трейнинге, в RL: добавляешь тридцатый, сороковой, пятидесятый домен — и вдруг получаешь большую выгоду от того, что всё в одном месте, вместо того чтобы обучать финансы отдельно и здравоохранение отдельно. Ты веришь, что мы увидим такую генерализацию в RL, или всегда будет иметь смысл просто брать сильную пре-трейн-модель и накатывать на неё один домен?

Думаю, генерализацию мы видим в том смысле, что эти модели обладают невероятным знанием о мире и настолько широким набором навыков, что теперь могут зайти в любую область и принести туда знание отовсюду. Код — отличный пример.

А вот есть ли большая синергия между всеми разными вещами, которым обучают в пост-трейнинге, — честно, не знаю. Мне кажется, там столько специализированных областей и специализированных навыков, которые нужны буквально в одном месте. Я не уверен, насколько сильно это вносит вклад в общий интеллект модели. Пока похоже, что бóльшая часть интеллекта берётся из обучения на коде, математике и подобном.

Тогда это интересный вопрос про то, кому вообще есть смысл дообучать свои модели. Есть фармкомпании с довольно проприетарными наборами данных клинических испытаний. Есть разработчики чипов. То есть точно существуют компании с по-настоящему уникальными данными, которых больше нигде нет. Но мне менее очевидно, есть ли у среднего банка данные, к которым провайдеры закрытых моделей рано или поздно не получат доступ и так.

Возможно, часть таких бизнесов действительно будет испытывать трудности, если не сумеет удержать конкурентное преимущество, не сумеет использовать свою интеллектуальную собственность, чтобы делать свои модели лучше. Так что многое зависит от отрасли — по этому и можно прикидывать, куда всё пойдёт и как будет происходить трансформация.

Я бы сказал так: худшее положение — когда всё твоё знание уже в интернете. Если всё, что делает твою компанию уникальной, уже лежит снаружи и может быть выкачано, это очень опасная позиция.

И это точно ложится на общий тезис River — держать интеллект локально.

Мне кажется, у нас есть выбор. Как компания ты можешь отдать свои данные Anthropic и OpenAI — через API или иначе, может быть, даже продав их, если хочешь на этом заработать. А можешь начать использовать их, чтобы строить свои модели. Я вижу два разных пути: один ведёт к большей централизации интеллекта, другой — к более распределённой выгоде от AI.

Конфликт интересов. Anthropic и OpenAI, о которых идёт речь в этом разделе, — прямые конкуренты компании спикера. Подробнее в раскрытиях внизу материала.

Проблема китайского опенсорса

Всё, что вы строите, и вообще всё, что делают люди, обучающие или дообучающие свои модели, сегодня опирается на передовые китайские открытые модели. Последние месяцы вокруг этого много шума. Я так понимаю, ты считаешь передовые открытые модели благом для мира. Что ты думаешь о том, что вся эта экосистема сегодня китайская, и о разговорах правительства про возможный запрет?

Во-первых, хорошо, что мощные открытые модели вообще есть. Это радикально снижает порог входа для любого, кто хочет заняться AI, кастомизировать модели, использовать их к своей выгоде и по-настоящему контролировать собственную судьбу.

Но одновременно это ставит китайские лаборатории в привилегированное положение, где они тоже могут проявлять контроль. Например, они могут в какой-то момент перестать выкладывать открытые веса — а все на них уже полагаются. Для США и американской экономики это нехорошо.

Ещё они могут изменить лицензии. Мы уже часто видим оговорки: если у тебя выручка выше такого-то уровня, ты обязан заключить партнёрское соглашение, где правила могут быть другими. Это тоже способ немного надавить и удержать контроль над открытыми весами.

И есть более теоретическая проблема, но теоретически возможная: что в веса каким-то образом заложены бэкдоры или поведение, которое мы сочли бы нежелательным.

Насколько ты этого опасаешься?

Сегодня — совсем не опасаюсь. Моё ощущение: если бы такое существовало, у нас уже был бы хоть один пример, замеченный в дикой природе, а сообщений об этом нет. Кроме того, известные мне технологии внедрения такого поведения, таких бэкдоров в веса недостаточно развиты, чтобы избежать обнаружения и не оставить следов. Так что мы тут пока на ранней стадии, и меня это не сильно беспокоит.

Но теоретически проблема есть, и в ближайшие два года, по мере того как эта техника станет изощрённее — а LLM и агенты станут важнее во всех областях, включая военную, — это стоит держать на радаре.

Поэтому я бы сказал, что критически важно, чтобы лучшие открытые модели были в США. Я это очень поддерживаю и считаю, что нам всем стоит разобраться, как сделать так, чтобы американская команда обучила самую лучшую открытую модель — не просто лучшую американскую открытую, а лучшую в мире.

Справка редакции. Контекст, который остался за кадром разговора. К середине 2026 года на китайские модели приходится порядка 61% токенов, обрабатываемых на платформе-маршрутизаторе OpenRouter, а семейство Qwen от Alibaba преодолело миллиард загрузок. Со стороны регулирования: администрация США возвращалась к идее ограничить китайские открытые модели после выхода Kimi K3; ряд ведомств уже ввёл внутренние запреты на DeepSeek, в июле 2026 года комитеты Палаты представителей начали проверки американских компаний, использующих китайские модели. Юристы указывают, что полный запрет публично доступных весов упирается в Первую поправку и труднореализуем технически.

Спорное. По вопросу о заложенном поведении в весах позиции расходятся. Бабушкин говорит, что подтверждённых случаев нет и технология незрелая. При этом в мае 2026 года Booz Allen Hamilton провела более 2800 испытаний пяти моделей для генерации кода и сообщила, что три из четырёх китайских моделей выдавали заметно больше уязвимого кода, когда в промпте пользователь обозначался как подрядчик правительства США; для Qwen3-Coder разница составила около 130%. Это не бэкдор в том смысле, о котором говорит Бабушкин, но и не нейтральный результат. Ни одна из сторон спора на момент публикации не считается разрешённой; исследование Booz Allen критиковали за методологию, а критиков китайских моделей — за совпадение их выводов с коммерческими интересами американских лабораторий.

Кажется, тут интересный вопрос бизнес-модели — как это окупать. Но это настолько общественное благо, что, возможно, найдутся люди. NVIDIA ведь уже довольно серьёзно субсидирует эту историю.

Может быть, это будем и мы. У нас есть опыт xAI, где мы начали с нуля и меньше чем за два года сделали Grok 3, а потом и Grok 4, которые были вполне на фронтире. Так что я бы с удовольствием обучил лучшую американскую открытую модель. Но прямо сейчас нам очень интересно, как построить бизнес на этих открытых весах, чтобы компания могла себя окупать. И с API у нас с этим неплохой прогресс.

От Большого адронного коллайдера до AlphaCode

Ты говорил, что прогресс AI пошёл быстрее, чем ты ожидал. Есть момент или два за последние три-четыре года, которые тебя по-настоящему удивили?

Самое странное, что прогресс меня не особо удивляет. Просто жить внутри него — это безумие. Это совершенно не похоже на то, как ты это себе воображал. Проживать это по-настоящему — совсем другое. Почти как быть во сне.

Когда я начал интересоваться AI, я был физиком, работал на Большом адронном коллайдере, делал там PhD. В физике тебя учат сильно смотреть вперёд, и что-то из этого на физиков налипает — они начинают думать, как будет выглядеть будущее. И когда произошла история с AlphaGo — DeepMind сумел создать очень сильный AI для го, — для меня щёлкнуло: в AI произойдут потрясающие вещи, и мне лучше туда перейти.

Ты и многие видные исследователи пришли из физики. Интересно, как много людей начинали в том мире.

Думаю, это просто отличный способ научиться подходить к трудным задачам и решать их из первых принципов. Хорошая подготовка для работы в AI.

Я пошёл в DeepMind исследовательским инженером — это очень интересно, потому что видишь и алгоритмическую сторону, как решать исследовательские задачи и обучать модели, и как строить распределённые системы, как повышать эффективность обучения и инференса. Поработал над синтезом речи в WaveNet, потом сильно увлёкся обучением с подкреплением и в итоге стал техлидом проекта StarCraft.

Это был очень сложный RL-проект, в каком-то смысле опередивший своё время.

Абсолютно. Эта среда кажется намного сложнее того, на чём мы сегодня оптимизируем RL.

Именно, нам пришлось разбираться, как справляться с такой сложностью. И часть выработанных стратегий мы сразу видели как применимые к языковым моделям в будущем. Например, в StarCraft мы много занимались имитационным обучением: собрали реплеи людей разного уровня — от новичков до почти профессионалов, — начали с имитации и только потом перешли к RL. Награды тут верифицируемы, это игра на двоих: кто выиграл, тот получает положительное вознаграждение, кто проиграл — отрицательное.

И комбинация двух этих вещей — крупномасштабная имитация, а затем обучение с подкреплением, чтобы дальше улучшать политику, — оказалась очень мощной. Так этих агентов обучают и сегодня.

После StarCraft в DeepMind мы поняли, что следующая большая тема — код. Это было довольно рано: задолго до того, как появились сколько-нибудь способные коммерческие модели для кода. Мы видели это как естественное продолжение StarCraft, и так начался проект AlphaCode.

У меня было сильное ощущение, что LLM тогда вообще плохо справлялись с кодом, и причина в том, что они не умеют думать — мы просто не даём им достаточно времени подумать над задачей. Когда человек решает трудную задачу, ему нужно подумать минуту-другую, и происходит что-то магическое, что позволяет понять задачу гораздо лучше и решить её. А у нас тогда не было механизма, который позволил бы LLM рассуждать так же.

Я чувствовал, что это надо исследовать, и стал искать, кто этим занимается. И понял, что OpenAI только что запустил команду по ризонингу — ровно под эту задачу. Так я перешёл в OpenAI, переехал в Калифорнию. Участвовал и в работе над ризонингом, и помогал с большими пре-трейнинг-ранами вместе с Грегом Бахманом — успел посмотреть и на крупномасштабный пре-трейнинг, это было очень интересно.

Пометка редакции. Имя коллеги в автоматической расшифровке звучит как Greg Bachmann; верифицировать, кто именно имеется в виду, нам не удалось, поэтому оно оставлено в том виде, в каком прозвучало.

Многое в ризонинге, кажется, заработало уже после по-настоящему масштабного пре-трейнинга. Похоже, в ранние дни работы над ризонингом в OpenAI была почти вера — что это сработает, когда модели вырастут и станут лучше. Впечатляющая интуиция.

Именно, и решения у нас тогда ещё не было. Решением в итоге стала модель o1 и те исследования, которые случились в OpenAI позже, чтобы разблокировать этот подход: у модели есть токены размышления, которые она может сгенерировать перед финальным ответом, а обучение с подкреплением используется, чтобы улучшить сам процесс и способность думать. Вот это и стало искомым ключом. Случилось это несколькими годами позже. И ещё в мою бытность в OpenAI я почувствовал: эти ребята добьются невероятного.

Справка редакции. AlphaStar достиг гроссмейстерского уровня в StarCraft II в 2019 году. AlphaCode представлен в феврале 2022 года. Модель o1 — первая публичная модель OpenAI с явной цепочкой рассуждений — вышла в сентябре 2024 года. То есть между постановкой задачи, которую описывает Бабушкин, и её решением прошло несколько лет.

DeepMind против OpenAI: почему выиграла меньшая команда

Как ты сравниваешь это с DeepMind? Там ведь был кто есть кто — кажется, почти каждый в какой-то момент успел поработать там или в Google Brain. Люди потом рассуждали, что там делались другие ставки, было больше веры в обучение с подкреплением. Ты пожил в обоих.

Честно, очень трудно сказать: в DeepMind были совершенно выдающиеся мыслители, и часть правильных идей там точно витала в воздухе. Но OpenAI помогло, я думаю, то, что команда была меньше и они смогли добиться внутри себя большой согласованности и большой убеждённости, что это правильный подход. Для этого нужна критическая масса таланта и людей, думающих в правильном направлении. У них это получилось. И даже в положении аутсайдера они смогли сделать огромный рывок.

Нам тогда было довольно ясно, что OpenAI во многом победит. И уже в тот момент я начал думать: как-то это неудачно, если в мире будет одна-единственная AI-компания, которая контролирует самые способные модели и решает, что делать. Мы даже размышляли, как устроить всем безусловный доход, чтобы человечество получало выплаты, пока OpenAI по сути контролирует модели. И меня это не устраивало.

Я всегда был большим фанатом опенсорса и много лет пользуюсь Linux. Мне казалось, что распределять выгоды нужно именно так.

В конце концов, если подумать философски: пре-трейнинг модели происходит на всём знании человечества, на всём тексте, который мы создали в вебе. Это по-настоящему общее достояние, это то, чем человечество должно владеть как целое. И именно то, что технически этим никто не владеет и ты можешь всё это скачать, позволяет сжать знание, очистить его и превратить во что-то действенное и полезное — в веса модели. По-моему, именно это и делают строители AI-моделей.

И философски мне кажется наиболее осмысленным, чтобы эти пре-трейн-чекпойнты выходили наружу и были бесплатны для людей. Просто рассуждая из первых принципов о том, что здесь справедливо.

Но, конечно, AI-лаборатории вкладывают колоссальные усилия — в виде вычислений, в виде всех этих экспертов, которые придумывают, как настроить алгоритмы, как обучить модель, как двигать эту область вперёд. Так что их участие даёт огромную пользу. Мне просто кажется, что мы не учитываем всю человеческую изобретательность, которая ушла в текст в вебе.

Звонок Илона и Colossus за 120 дней

Но именно открытость этих данных позволила, в частности, xAI за короткий срок подойти к фронтиру. Как это вообще началось?

Я случайно столкнулся с Илоном. Оказался в офисе Tesla, разговаривал с командой о том, чем они занимаются. А он там как раз был, и мне удалось с ним поговорить — это было довольно захватывающе, потому что он ещё и прекрасный мыслитель: очень глубоко думает про человечество, технологии и всё, что между.

И мы, кажется, сошлись во взглядах на всё это: что, возможно, в мире должен быть ещё один конкурент, ещё одна AI-лаборатория с немного другой миссией, другой философией того, как модели должны разрабатываться и как они должны вести себя, оказавшись в мире.

С тех пор у нас была эта связь. И когда позже он захотел начать что-то новое, он написал мне. Так стартовал xAI. Дальше я поговорил со старыми друзьями, которые искали, чем заняться, и нам удалось собрать довольно хорошую группу людей.

Для любого AI-проекта это критично: нужно набрать критическую массу таланта, правильных людей, которые хотят пахать и сделать что-то великое. Это и был вопрос номер один — сможем ли мы вообще, зависело от того, соберём ли мы людей. А потом практически с нуля мы постепенно построили компанию и обучили модели. И меньше чем за два года вышли на фронтир.

Вы делали довольно безумные вещи — знаменитая история с запуском Colossus, кажется, за 120 дней. Какие уроки ты вынес из этой скорости?

Думаю, это требует колоссальной сфокусированности и мышления за пределами шаблона. И это очень во многом было двигателем Илона: он видел, что нам нужно очень быстро вывести в онлайн больше GPU, чтобы быть конкурентоспособными, особенно в обучении. И решил: строим свой дата-центр, ни от кого не зависим.

Из того, что я видел, он лучший в мире человек для такой задачи. Он способен увидеть общую картину — что нужно сделать, какие в этом отдельные компоненты и шаги, — а потом очень сфокусированно разобрать из первых принципов, как ускорить каждый аспект проекта, и сделать вещи, о возможности которых другие даже не подозревают.

Ты считал сроки безумием, когда это впервые предложили?

Считал. Но к тому моменту я уже достаточно знал Илона, чтобы понимать: мы это сделаем. У меня было к нему огромное доверие.

А ключом к Colossus было именно то, что мы поставили под вопрос, как все остальные строят дата-центры. Когда мы спрашивали людей, сколько времени займёт построить новый дата-центр и поставить туда столько GPU, нам называли сроки сильно за год. Причина в том, что нужно возвести новую оболочку — новое здание, — и процесс устроен очень водопадно. Плюс ты часто имеешь дело с субподрядчиками субподрядчиков субподрядчиков, и в этой цепочке теряется много эффективности.

У Илона мышление ровно противоположное: мы хотим сделать это сами, мы хотим быть генеральным подрядчиком, и вот все эти способы решить наши проблемы, о существовании которых другие не догадываются. Это, по сути, поиск глитча в матрице на каждом отдельном участке проекта. Очень интересный опыт.

Справка редакции. Colossus — дата-центр xAI в Мемфисе, запущенный в сентябре 2024 года; в публичных заявлениях компании обычно фигурирует срок 122 дня от начала работ до запуска. Бабушкин в разговоре называет «примерно 120 дней» — расхождение в пределах округления. Grok 3 вышел в феврале 2025 года, Grok 4 — в июле 2025-го.

Наши слушатели наверняка захотят узнать, каково с ним работать. И как ты сравнишь эту среду с DeepMind и OpenAI — три, вероятно, очень разные культуры.

После той первой беседы мне захотелось с ним работать в первую очередь потому, что я почувствовал его уважение к инженерам. Исследовательский инженер довольно много прыгает между исследованием и инженерией. Я бы не сказал, что в AI-лабораториях есть прямо двойной стандарт, но у тебя есть титулы, которые отражают статус: исследовательский учёный, исследовательский инженер. А тут я почувствовал настоящее уважение со стороны Илона — будто он ещё один член команды, с которым я работаю.

Он много занимается инженерными встречами, говорит напрямую с людьми, которые делают работу, чудовищно глубоко закапывается в детали всего, что делает компания. И это уважение к инженерам, уважение к задаче, над которой они работают, чувствуется.

Плюс у него колоссальная энергия. Каждый день он приходит на работу с улыбкой и хочет снова, с начала, взяться за самые трудные задачи. Эту энергию чувствует и команда. По-настоящему здорово работать там, где люди очень сильно хотят добиться результата и приходят с огромной мотивацией.

Что дала xAI покупка Cursor

После твоего ухода компания сделала несколько интересных вещей: её купил SpaceX, а потом она купила Cursor. Что ты думаешь про покупку Cursor?

Считаю, невероятно умный ход. Это, по сути, позволяет резко прыгнуть вперёд в кодинг-моделях. У Cursor и отличная команда, глубоко понимающая программирование, и продукт, которым многие пользуются, причём весьма интенсивно. И там масса данных, которыми можно всерьёз завести своё обучение и колоссально улучшить то, где xAI находился.

И эти данные из реального мира, от живых пользователей, действительно настолько ценнее того, что дают разметчики и другие поставщики?

Думаю, ценно именно количество: если оно у тебя есть в объёме, это по-настоящему ценно. Но огромная ценность есть и в построении правильных RL-сред — когда ты собираешь верифицируемые задачи, где агенту поручено что-то сделать, скажем починить баг в кодовой базе, а потом ты проверяешь, действительно ли он это сделал правильно и правильным ли способом. Именно это дало много улучшений в кодинг-моделях. Это другая сторона монеты, и в процессе тебе нужны оба типа данных.

Но, очевидно, гораздо легче понять, какие среды строить, когда ты видел, как всё это работает вживую. Наверняка ещё легче, когда в связке Cursor стоит твоя собственная модель, — хотя даже Claude или кто угодно в этой связке, вероятно, всё равно очень полезен.

Да. И, конечно, у меня нет инсайдерского понимания, какие данные принесла команда Cursor и как им удалось так сильно скакнуть в качестве моделей. Но скажу, что скорость, с которой они разогнали способности моделей Grok в коде, впечатляет. И, уверен, самых больших скачков мы ещё не видели — впереди новые модели.

Справка редакции. SpaceX объявила о слиянии с xAI в феврале 2026 года; сделка закрылась 6 мая 2026 года при оценке xAI около $250 млрд. 12 июня SpaceX вышла на Nasdaq, а 16 июня объявила о покупке Anysphere — компании, стоящей за Cursor, — за $60 млрд акциями. Это крупнейшее приобретение венчурной компании в истории. Cursor к тому моменту имел порядка $2,6 млрд годовой выручки в корпоративном сегменте. Закрытие сделки ожидается в третьем квартале 2026 года.

Где на самом деле упирается прогресс

Что тебе кажется главным ограничителем прогресса моделей прямо сейчас? Данные? Экспертиза, живущая внутри организаций и не попавшая в обучение?

Думаю, самый большой рывок дали бы новые идеи о том, как устроить обучение, чтобы оно справлялось с гораздо более длинными горизонтами и гораздо легче работало с неверифицируемыми наградами. Тут большая инерция и высокий энергетический барьер, а продолжать итерировать в режиме кода легче. Так что одна из ловушек — просто делать код всё лучше и лучше. Но люди на самом деле хотят понять, как перейти в более долгосрочные домены.

Например, одна величина, которая может стать бутылочным горлышком в обучении, — сколько времени занимает раскатать траектории агента. Чтобы обновить модель, ты сначала действуешь методом проб и ошибок: агент пробует много решений, ты собираешь награды, потом обучением с подкреплением обновляешь веса. Но если один роллаут занимает 24 часа, обучать модель будет очень тяжело — каждый шаг обучения будет очень долгим.

Значит, надо придумать, как нарезать работу, которую делают агенты, чтобы обучать их инкрементально: агентам придётся угадывать, хорошо они справляются или нет, по промежуточному прогрессу. И надо идти в те области, где у нас нет наград, где нет юнит-теста и нет проверки доказательства. Вот куда сегодня стоит давить тем, кто хочет улучшать агентов.

Насколько мы близки к тому, чтобы взломать неверифицируемые домены? Возвращаясь к твоему AI-учёному и способности сделать новое открытие в физике — есть внутреннее ощущение сроков?

Модели сейчас настолько способны, что часто могут отлично судить, сработало что-то или нет. Но мы всё ещё не видели хороших примеров того, как это реализуют в масштабе, чтобы дальше улучшать модели. Думаю, это мы можем увидеть в ближайшие несколько месяцев, примерно за 12 месяцев: люди действительно вытянут подход с LLM-судьями, где верифицируемой награды нет, но мы всё равно можем многому научиться на реальных взаимодействиях.

То есть рецепт в целом известен, вопрос буквально в том, чтобы поставить эксперимент?

Думаю, все детали рецепта ещё не выяснены, как это делать оптимально. Но помогает то, что сами модели стали настолько сильными, что их суждению часто можно доверять. Они довольно надёжно определяют, что произошло. Это подтягивает вверх всю конструкцию.

Ты был убеждён во многих вещах, которые оказались верны, и очень рано — в ризонинге в том числе. Есть что-то, в чём ты за последний год поменял мнение? Что-то, в чём ты был уверен, а вышло иначе?

Дело в том, что, по-моему, никто не мог предсказать, насколько трансформирующими окажутся кодинг-агенты, когда они перейдут определённый порог способностей. Я ожидал более-менее плавного прогресса: модели для кода постепенно становятся лучше, и их постепенно всё больше используют. А этот внезапный взрыв использования — совсем другое дело.

И теперь я начинаю думать, что таких трансформаций в будущем будет больше.

То есть скачкообразный момент, когда что-то — даже трудно сформулировать, что именно, — просто начинает работать сильно лучше. Можно вообразить, что в других доменах случится похожее, но предсказать это трудно.

Да. И самое интересное, что даже людям, ближе всех находящимся к этим моделям, было трудно предсказать заранее, когда произойдёт прорыв.

Люди, машины и вопрос о том, что останется нам

Хочу вернуться к тому, с чего мы начали, — к твоей фантастике. Вопрос, который многим не даёт спать: если машины могут делать всю эту работу, что остаётся людям?

Думаю, если мы, люди, хотим сохранить в этом мире свою значимость, нам надо нащупать правильный симбиоз с машинами.

Сегодня какой-то симбиоз уже есть: когда я использую кодинг-агента, он берёт на себя низкоуровневые детали и задачи, которые я понимаю на высоком уровне, но не хочу набирать код руками. При этом архитектура и планирование остаются за мной. Это отличный режим, когда человек и машина работают вместе.

Но есть большой риск, что баланс со временем сместится. Чем способнее становятся кодинг-агенты и агенты вообще, тем сильнее соблазн отдавать им больше контроля, позволять делать всё больше. Ровно об этом и рассказ: как только ты позволяешь агенту принимать за тебя все решения, ты больше не управляешь своей жизнью, ты больше не управляешь ситуацией.

Поэтому я думаю, надо разобраться, как сохранить симбиоз. И для меня это требует новых достижений в элайнменте. Элайнмент, который мы сегодня делаем для моделей, во многом сводится к обучению на человеческих предпочтениях: вот эта группа людей любит такое поведение и не любит такое — и мы модифицируем модель, чтобы она этому соответствовала.

А чтобы люди сохранили свою значимость, в будущем понадобится гораздо более глубокий элайнмент, гораздо более глубокая интеграция человека и машины. В конечном счёте, возможно, появится что-то вроде Neuralink, что позволит управлять большими объёмами интеллекта одной лишь мыслью. Но это, думаю, ещё нескоро.

А пока мы можем лучше выравнивать модели, меняя способ их обучения, придумывая новые алгоритмы и технологии. Именно этим и пытается заниматься River AI. Я бы призвал всех, кто занимается AI-исследованиями, тоже думать о том, как удержать модели близко к нам, как заставить их следовать нашим намерениям и помогать нам, а не забирать управление и заменять нас.

И «помогать нам» здесь означает в том числе оставлять нам роль — пусть даже с точки зрения максимизации какой-нибудь скрепочной цели это неоптимально. Зато это максимизирует человеческое процветание.

Именно. И нам стоит обучать модели максимизировать человеческое процветание. Это ещё один вывод.

Справка редакции. Neuralink — компания Илона Маска, разрабатывающая нейроинтерфейсы. «Скрепочная цель» — отсылка к мысленному эксперименту философа Ника Бострома о максимизаторе скрепок: AI с безобидной на вид целью, преследуемой достаточно упорно, перерабатывает в скрепки всё доступное вещество, включая людей. Классический пример проблемы постановки целей.

Про письмо, замедление и шансы, что всё кончится хорошо

За последние сутки вышло письмо, которое подписали многие исследователи: они призывают правительство рассмотреть возможность замедления AI. Вокруг много тревоги по поводу того, как быстро всё движется. Тебе это откликается?

Думаю, замедлиться на этой стадии невероятно трудно. AI стал слишком большой вещью. Экономика США зависит от того, что AI продолжит развиваться. И есть международные конкуренты: Китай быстро догоняет по способностям и может решить замедляться, а может и не решить.

Заставить людей замедлиться очень и очень сложно. Не знаю, насколько реалистично то, о чём это письмо. Хотя я был бы рад ошибиться: если нам удастся немного притормозить и больше поработать над элайнментом, это было бы хорошо.

А если притормозить не выйдет, я считаю, надо ускоряться в технологиях, которые улучшают элайнмент и безопасность моделей, потому что для моделей, которые мы разворачиваем, это очень быстро станет крайне актуальным.

И лучший способ этого добиться — просто больше открытых моделей и больше усилий внутри закрытых провайдеров? Если бы у тебя была волшебная палочка, что бы помогло увеличить объём такой работы?

Думаю, чрезвычайно ценны открытые модели, которые находятся близко к порогу, за которым они начинают становиться опасными. Это позволяет любому человеку в мире попробовать свои идеи о том, как такие модели выравнивать и контролировать. Они ещё не настолько мощные, чтобы ими можно было причинить настоящий вред, но уже проявляют те свойства, которые станут опасными в будущем. Кибербезопасность — одно из самых актуальных таких свойств сейчас.

Мне кажется, мы не хотим, чтобы над этими задачами думали только несколько тысяч человек в больших AI-лабораториях. Нужно, чтобы как можно больше людей выясняло, какие алгоритмы и какие инструменты нам нужны, чтобы всё это стало жизнеспособным.

Ты ближе к этому, чем почти кто-либо. Какова твоя текущая вероятность, что всё закончится хорошо?

Хороший вопрос. Тут вопрос — хорошо для кого. Потому что AI может усилить неравенство в мире: будут люди, которые получат от него огромную выгоду, и будут те, кто почувствует себя оставленным позади. Мне кажется, это самый непосредственный и срочный риск.

И да, есть риски в будущем — сможет ли AI взять верх, сможет ли отобрать контроль даже у тех, кто его построил и сегодня им управляет. Это тоже риск, но про него очень трудно делать предсказания, и мне кажется, он в более далёком будущем. А более непосредственная проблема, которую я вижу, — сумеем ли мы взять с собой в эту дорогу всех остальных.

Справка редакции. Речь о письме Pacing the Frontier, опубликованном 28 июля 2026 года. Его подписали свыше 1100 сотрудников OpenAI, Anthropic, Google DeepMind и Meta, включая Дарио Амодеи, Джареда Каплана и Джека Кларка из Anthropic, главного научного сотрудника OpenAI Якуба Пахоцкого и главного научного сотрудника Meta Шэнцзя Чжао. OpenAI и Anthropic поддержали письмо на корпоративном уровне. Важная деталь, которая часто теряется в пересказах: письмо не призывает останавливать или замедлять разработку сейчас. Оно просит правительство США поддержать международную работу над техническими и управленческими инструментами, которые позволили бы намеренно задавать темп развития автоматизированных AI-исследований, если это потребуется. Основное опасение подписантов — рекурсивное самоулучшение.

Слёзы, когда модель впервые ответила

Последний вопрос. В тексте про молитву машинному богу у тебя есть строка про слёзы, которых ты не ждал, когда модель впервые ответила. Это из личного опыта?

Я вставил это, потому что до сих пор помню, каким волшебным было ощущение, когда эти модели впервые заработали. Тогда это было очень скромно по сравнению с сегодняшним днём. Но, думаю, все, кто был в AI рано, это чувствовали: модели начинали делать довольно простые вещи, но вещи, которых до этого не умела ни одна машина. Это было по-настоящему волшебно.

Даже если это была просто функция на Python, генерирующая простые числа, ощущение было — это что-то нереальное. Хотелось это чувство поймать.

Уверен, так чувствовали многие, кто был в AI рано. Но, оглядываясь назад, всё это кажется нереальным, потому что модели продвинулись колоссально. Они сейчас влияют на весь мир, и это ушло далеко за пределы тех маленьких экспериментов, которые мы делали, когда AI был скорее хобби.

Итоги

Это не пересказ по порядку, а реконструкция логики спикера.

1. Ноябрь-декабрь 2025 года — переломная точка, которую не предсказал никто, включая тех, кто был ближе всех к моделям. Бабушкин ожидал плавного улучшения кодинг-моделей; вместо этого произошёл скачкообразный взрыв использования после перехода порога способностей. Главный вывод для него — таких скачков впереди будет больше, и предсказать их момент нельзя.
2. Код был первым не потому, что он особенный, а потому что верифицируемый. Дешёвый сигнал вознаграждения сделал его очевидным низко висящим плодом. Настоящие бутылочные горлышки дальше — длина роллаута (обучать агента, у которого одна попытка занимает сутки, почти невозможно) и отсутствие наград в неверифицируемых доменах. Выход, по Бабушкину, — LLM-судьи, и рецепт в общих чертах уже виден, но детали не отработаны.
3. Прогресс упирается в убывающую отдачу с двух сторон сразу. Пре-трейнинг: нельзя покрыть GPU всю Землю. Пост-трейнинг: нельзя бесконечно масштабировать операцию по сведению всех мировых экспертов в один набор весов. Бабушкин считает, что мы приближаемся к этой точке.
4. Отсюда его главный тезис: закрытая лаборатория зажата с двух сторон. Сверху — модели становятся настолько сильными, что их может быть нельзя выпускать: из-за критики, регулирования или собственной оценки риска. Снизу — открытые модели догоняют каждый месяц. Выход только один — фундаментальные инновации, а не наращивание способностей.
5. Пре-трейн-чекпойнты, по его философии, должны быть открытыми. Аргумент из первых принципов: модель обучается на всём знании человечества, которым технически никто не владеет; лаборатории добавляют вычисления и алгоритмы, но не создают исходное сырьё. При этом Бабушкин признаёт, что вклад лабораторий огромен, — он спорит не с их существованием, а с моделью «продавать сжатое человеческое знание по токенам».
6. Компаниям придётся выбрать, кому достанется их преимущество. Пока волна проприетарных моделей растёт, проще платить за API. Когда она выдохнется, выбор станет бинарным: отдать свои данные Anthropic или OpenAI для их пост-трейнинга — или дообучать самим. Худшая позиция, по Бабушкину, у бизнеса, чьё знание уже лежит в открытом вебе. Интервьюер здесь возражает: у среднего банка может не быть данных, до которых закрытые провайдеры не доберутся иначе, — и Бабушкин соглашается, что часть таких компаний просто не удержит преимущество.
7. Персонализация — это не память и не промпт, а сквозное обучение; а чтобы она была настоящей, модель должна стоять у человека дома. Сегодняшние модели обучены вести себя одинаково со всеми, потому что обратная связь усредняется по популяции. Чтобы это сломать, недостаточно приделать систему памяти — нужно обучать агента сквозно на том сигнале, который ты хочешь оптимизировать. Как измерять этот сигнал, если он и есть «счастье пользователя», Бабушкин честно признаёт нерешённым вопросом. Отсюда третья ставка River — локальное железо: контроль в первую очередь, но также приватность (персональный агент видит все твои документы и слышит всё, что сказано в комнате) и низкая задержка, открывающая голосовые и видеосценарии.
8. Распределение выгод от AI для него — часть безопасности AI, и притом самая срочная. Он не верит, что индустрию удастся замедлить: слишком большая экономическая зависимость, слишком реальная международная конкуренция. Поэтому ставит на ускорение работ по элайнменту силами максимально широкого круга людей, а не нескольких тысяч сотрудников больших лабораторий. Самый непосредственный риск, который он видит, — не захват контроля моделями, а неравенство: часть людей получит огромную выгоду, часть останется позади.

Источник

Источник: Unsupervised Learning with Jacob Effron, выпуск 92 — «xAI Co-Founder Unpacks the Future of Model Development». Подкаст издаётся венчурным фондом Redpoint Ventures.