Всеобъемлющее руководство по следующему десятилетию, библия инвестиций в ИИ для одаренных молодых людей: «Ситуационная осведомленность»

Автор: @giantcutie666

В 2024 году Леопольд Ашенбреннер, гений-подросток, появившийся после 2000-х годов, покинул OpenAI, чтобы основать фонд.

Одновременно с этим он записал свои инвестиционные идеи:

Оглядываясь назад, можно сказать, что этот 165-страничный документ «Ситуационная осведомленность: предстоящее десятилетие» стал легендарным.

Те, кто понял это в прошлом году, наверняка достигли финансовой свободы в этом году!

Оригинальный текст на английском языке объемом 165 страниц размещен здесь, а ниже приведена сокращенная версия содержания:

https://situational-awareness.ai/wp-content/uploads/2024/06/situationalawareness.pdf

Главный тезис статьи: в течение этого десятилетия человечество создаст искусственный общий интеллект (способный выполнять все задачи обычного человека), а затем и сверхинтеллект.

В настоящее время это понимают лишь несколько сотен человек, большинство из которых сосредоточено на нескольких улицах Сан-Франциско. Остальные — включая Уолл-стрит, СМИ и Вашингтон — еще не до конца осознали это (некоторые на Уолл-стрит начали понимать это только в этом году).

Часть первая: Почему искусственный общий интеллект будет существовать к 2027 году

Метод прост, но эффективен: не нужно прогнозировать время, нужно прогнозировать масштаб вычислительной мощности.

За последние четыре года, с GPT-2 по GPT-4, «эффективная вычислительная мощность» модели увеличилась примерно в 100 000 раз, возрастая в десять раз каждые шесть месяцев!

GPT-2 был похож на ребенка из детского сада, изо всех сил пытающегося написать связные предложения, в то время как GPT-4 — на умного старшеклассника, способного сдать экзамен на адвоката и решать научные задачи уровня доктора философии.

Этот 100-тысячекратный рост обусловлен тремя факторами:

Во-первых, инвестиции в оборудование. Вычислительная мощность, используемая для обучения, увеличивается более чем в три раза каждый год. Закон Мура увеличивает мощность всего в 1,3 раза в год, в то время как развитие ИИ ускорилось в пять раз благодаря инвестициям людей в специализированные чипы для ИИ.

Во-вторых, более совершенные алгоритмы. Благодаря инженерам-алгоритмистам, расширяющим границы возможного, достижение определённых математических возможностей сегодня требует в 1000 раз меньше усилий, чем два года назад.

В-третьих, наиболее интересным аспектом является разблокировка скрытых по умолчанию возможностей (восстановление работоспособности).

Сама модель обладает множеством возможностей, но ограничена настройками по умолчанию. Например, базовая модель ChatGPT была довольно интеллектуальной, но выдавала бессмысленные результаты — RLHF раскрыла её потенциал.

Аналогично, предоставление модели возможности «подумать некоторое время, прежде чем ответить» (цепочка рассуждений) раскрывает ее способность к рассуждению. Предоставление ей инструментов и долговременной памяти открывает еще один уровень.

По прогнозам автора, в течение следующих четырех лет (к 2027 году) число таких трех направлений увеличится еще в 100 000 раз.

Ключевая идея заключается в устранении препятствий:

Современные модели способны «думать несколько минут» — примерно несколько сотен токенов. А что если бы они могли «думать несколько месяцев» — более миллиона токенов?

Например, разрыв между вами и Эйнштейном гораздо меньше, чем разрыв между «вы думаете 5 минут» и «вы думаете 5 месяцев».

Если это произойдёт, это будет означать дополнительный скачок в развитии интеллекта на 3-4 порядка. Этот результат уже близок.

Если экстраполировать эти данные, то примерно к 2027 году появится новый тип ИИ, способный работать независимо, как удалённый сотрудник, в течение нескольких недель, планировать задачи, писать код, проводить эксперименты, исправлять ошибки и отправлять результаты.

Это может полностью заменить исследователя из OpenAI, именно так автор определяет искусственный общий интеллект (AGI).

Наибольшая неопределенность связана с дефицитом данных — высококачественные общедоступные интернет-данные быстро расходуются.

Часть вторая: Искусственный общий интеллект — это не конец, а отправная точка.

Что произойдет, когда искусственный интеллект сможет выполнять работу исследователей в этой области?

При неизменной вычислительной мощности вы больше не ограничены "несколькими сотнями исследователей из OpenAI/Anthropic/DeepMind вместе взятых" — вы можете запустить 100 миллионов копий исследователей в области ИИ, каждая из которых будет работать в 100 раз быстрее человека.

За несколько дней объем работы мог бы достигать целого года человеческого труда.

Эти автоматизированные исследователи также обладают структурными преимуществами: они читают все статьи по машинному обучению, запоминают каждый эксперимент, обмениваются мыслями напрямую между копиями, а обучение одной копии означает обучение всех (нет необходимости каждому новому сотруднику постепенно осваивать новые навыки).

Это означает, что алгоритмический прогресс, на который людям первоначально потребовалось бы 10 лет, может быть сжат до одного года.

Затем, за этот год будет создана более совершенная модель следующего поколения, что приведет к очередному этапу сжатия. Переход от искусственного общего интеллекта к сверхинтеллекту, значительно превосходящему человеческие возможности, может произойти всего за несколько месяцев, год или два.

Автор признает наличие узких мест — например, эксперименты, требующие вычислительной мощности, и даже при наличии большого количества копий все равно приходится ждать появления графических процессоров. Однако он утверждает, что эти узкие места лишь немного замедлят взрывной рост, а не предотвратят его.

Как выглядит сверхразум?

По масштабу он превосходит человеческие возможности — он может запускать сотни миллионов параллельных процессов, мгновенно интегрируясь во все дисциплины и накапливая за несколько недель эквивалент тысячи лет человеческого опыта.

В качественном отношении он превосходит человека — подобно тому, как AlphaGo совершает ход 37 (ход, который человеческие эксперты не могли себе представить десятилетиями), но при этом применим во всех областях. Он может выявлять уязвимости в коде, которые человек никогда бы не увидел за всю свою жизнь, и писать код, который человек никогда бы не понял.

Мы будем похожи на учеников начальной школы, читающих докторские диссертации.

Последствия таковы: проблема робототехники будет решена (это в первую очередь проблема алгоритмов машинного обучения, а не аппаратной части), синтетическая биология будет использована в качестве оружия, а рои беспилотников-невидимок смогут превентивно уничтожать ядерное оружие.

Весь международный военный баланс будет полностью нарушен в течение нескольких лет.

Часть третья: Четыре действительно неотложные проблемы

Проблема первая: Триллионные кластеры

Этот конкурс — это не просто соревнование программистов, пишущих код; это мобилизация промышленности.

Каждое новое поколение моделей требует более крупных кластеров, а более крупные кластеры требуют электростанций, которые, в свою очередь, нуждаются в заводах по производству микросхем.

При нынешних темпах: кластер в 1 ГВт к 2026 году (эквивалентно мощности плотины Гувера), 10 ГВт к 2028 году (эквивалентно мощности среднего по размеру штата США) и 100 ГВт к 2030 году (более 20% всей выработки электроэнергии в США).

К 2027 году объем инвестиций может превысить 1 триллион долларов в год.

Реальное узкое место — не деньги или видеокарты, а электроэнергия. «Где найти 10 ГВт?» — сейчас самая обсуждаемая тема в Сан-Франциско.

Для того чтобы построить это внутри США, необходимо упростить процедуры получения экологических разрешений и использовать федеральные полномочия для освоения земель — автор поднимает этот вопрос до уровня национальной безопасности.

Если США не смогут построить кластеры, они переместятся в ОАЭ или Саудовскую Аравию, фактически передав управление искусственным интеллектом авторитарным странам.

Проблема вторая: в лабораториях наблюдаются утечки.

Современные лаборатории искусственного интеллекта обладают уровнем безопасности, эквивалентным обычным стартапам Кремниевой долины.

Компания Google DeepMind (лучшая в отрасли) признает, что ее возможности защиты от противников государственного уровня находятся на уровне 0 (из максимально возможных 4).

Что это значит? «Весы» моделей AGI по сути представляют собой большой файл на сервере.

Если этот файл будет украден, это будет равносильно прямой передаче «автоматизированных исследователей ИИ» Китаю — они смогут немедленно запустить собственный интеллектуальный взрыв, сведя на нет все достижения США.

Более того, в каналах Slack и за пределами офисов различных компаний в Сан-Франциско формируются алгоритмические секреты — ключевые прорывы для парадигмы следующего поколения (как преодолеть барьер в обмене данными).

Автор утверждает: в течение следующих 12-24 месяцев критически важные прорывы в области искусственного общего интеллекта проникнут в Китай. Это не предположение, а почти наверняка.

Для достижения уровня безопасности, способного противостоять всей мощи Министерства государственной безопасности Китая, необходимы изоляция на уровне оборудования, проверка биографических данных персонала на уровне инженеров, занимающихся разработкой атомных бомб, и специально разработанные кластеры — на их создание и совершенствование потребуется как минимум несколько лет. Если не принять меры немедленно, то к 2027 году, когда будет достигнут уровень AGI (Aircraft on Infinity System), уровень безопасности не сможет угнаться за ним, и останутся только два плохих варианта: либо передать его другим странам, либо остановиться и ждать, пока будет обеспечена безопасность (потенциально потеряв лидерство).

Проблема третья: Проблемы с выравниванием

Современная технология выравнивания называется RLHF — люди оценивают модель, и модель учится угождать людям.

Этот метод эффективен по сравнению с недальновидным искусственным интеллектом. Но как только ИИ станет на несколько порядков умнее человека, этот метод полностью провалится — как можно оценить докторскую диссертацию, которую вы не можете понять?

Взрывной рост разведывательной активности делает этот вопрос крайне напряженным:

Менее чем за год происходит скачок от "RLHF все еще работает" к "RLHF полностью проваливается", и времени на итеративные пробные ошибки уже не остается.

В то же время, ситуация резко меняется: от «мелких ошибок» (ругательства в ChatGPT) до «катастрофических ошибок» (сверхразведка, вырвавшаяся из кластера для взлома военных систем).

Промежуточная архитектура проходит через множество поколений эволюции, и мы так и не поймем, как мыслит конечный сверхразум.

Современные модели рассуждают, используя английские токены (относительно прозрачные), но в будущем они, вероятно, эволюционируют к рассуждениям, основанным на внутренних скрытых состояниях — совершенно необъяснимых.

Автор с оптимизмом смотрит на технические решения: существует множество простых путей их реализации, и в исследованиях в области объяснимости наблюдается прогресс.

Однако он крайне пессимистично оценивает перспективы организационного исполнения — в мире над этим работают всего несколько десятков серьезных специалистов, и лаборатории не проявляют никаких признаков того, что готовы платить за безопасность. «Мы слишком полагаемся на удачу».

Проблема четвертая: Свободный мир должен победить

Автор уделяет много времени аргументации того, что некоторые страны не только всё ещё участвуют в игре, но и являются очень конкурентоспособными.

Что касается вычислительной мощности: 7-нм чипы Huawei (производства SMIC) демонстрируют производительность на уровне NVIDIA A100, при этом соотношение цены и производительности в 2-3 раза хуже, но все еще достаточное.

С точки зрения строительных возможностей: за последнее десятилетие Китай нарастил мощности по производству электроэнергии, эквивалентные всем установленным мощностям США. Что касается мобилизации промышленности для создания кластера мощностью 100 ГВт, Китай может оказаться сильнее США.

Пути кражи: пока лаборатории в США не будут защищены, ключевые алгоритмы неизбежно утекут в течение двух лет.

На временной шкале наблюдается тревожное совпадение: временная шкала AGI (~2027 год) совпадает с временным окном для наблюдателей Тайваньского пролива относительно потенциального нападения КПК на Тайвань (~2027 год). «Конец игры AGI может развернуться на фоне мировой войны».

Вывод автора: США должны поддерживать «здоровое преимущество» — он предлагает два года. Этот двухлетний запас времени призван стабилизировать ситуацию и наладить переговоры с Китаем о международном порядке в эпоху сверхразведки.

Если этот отрыв окажется меньше, весь мир погрузится в «гонку за выживание в условиях взрыва интеллекта» — все запасы прочности будут сведены к нулю, и все будут безрассудно мчаться на скорость.

Часть четвёртая: Проект (версия проекта «Манхэттен» от AGI)

На этом этапе автор делает самое смелое предсказание за всю книгу.

«Правительство США не может поручить научно-фантастическому стартапу разработку сверхразума». Представьте, что в те времена для разработки атомной бомбы использовали бы Uber.

Прогноз: в какой-то момент в 2027 или 2028 году аппарат национальной безопасности США в той или иной форме возьмет на себя управление проектом AGI. Это может принять форму оборонного подрядчика (OpenAI станет Lockheed Martin), модели совместного предприятия (облачные провайдеры + лаборатории + правительство) или даже более радикальной национализации.

Ведущие исследователи переедут в защищенные помещения SCIF, а кластеры стоимостью в триллионы долларов будут создаваться с военной скоростью.

Путь будет определён: в 2026/27 годах произойдёт первая по-настоящему пугающая демонстрация возможностей — возможно, «помощь новичкам в создании биологического оружия» или автономный взлом критически важной инфраструктуры с помощью ИИ.

По мере раскрытия подробностей проникновения КПК в лаборатории атмосфера в Вашингтоне резко изменится. Вопрос «Нужен ли нам проект искусственного интеллекта на Манхэттене?» постепенно, а затем внезапно станет главной темой обсуждения.

Почему именно правительство? Потому что сверхинтеллект сродни ядерному оружию, а не интернет-технологиям.