Вышла GPT-6.2: умеет воссоздавать презентации по скриншоту, строить финансовые модели и 3D-модели, но уровень галлюцинаций всё ещё 59%

chaincatcherchaincatcher

Статья | Сяоцзин

Редактор | Сюй Цинъян

 

17 ноября по местному времени в США OpenAI официально представила модели GPT-6.2 Astra и GPT-6.2 Sol.

Релиз состоялся позже, чем ожидалось. Ещё в конце октября некоторые пользователи обнаружили следы предполагаемой GPT-6.2 в истории использования ChatGPT, после чего в сеть продолжали утекать идентификаторы моделей и скриншоты тестирования. Ранее СМИ прогнозировали, что новая модель выйдет уже 6 ноября, однако фактическая дата релиза оказалась на 11 дней позже этого прогноза.

На этот раз OpenAI сделала акцент на способности ИИ брать на себя профессиональную работу.

От воссоздания полной презентации по скриншоту PPT до извлечения финансовых данных, построения оценочных моделей, управления Blender для генерации 3D-моделей автомобилей, симуляции физического движения подвески транспортного средства и даже использования CAD для проектирования механических деталей и проверки сборочных связей — GPT-6.2 начала углубляться в задачи, которые раньше требовали от специалистов владения сложным программным обеспечением.

OpenAI особо подчеркнула, что новая модель способна сокращать неэффективные выводы и повторные правки, делая результаты, выдаваемые ИИ, ближе к стандартам профессиональной работы.

За последние два месяца OpenAI последовательно выпустила такие модели, как GPT-6 Astra, Sol и Luna, а также GPT-6.1 Sol и Terra. Новая GPT-6.2 Astra является обновлением флагманской модели после GPT-6 Astra, вышедшей в сентябре, и сосредоточена на улучшении обработки сложных профессиональных задач; GPT-6.2 Sol в основном повышает эффективность повседневной работы, программирования и многошаговых агентных задач.

Согласно последнему рейтингу Artificial Analysis, Astra поднялась на второе место в мире с результатом 62 балла, что на 5 баллов выше предыдущего поколения; Sol достигла 57 баллов. Что касается цен, цены за единицу входных и выходных токенов API для Astra снижены на 20%, а цена кэшированного ввода упала на 60%; Sol сохранила прежнюю цену, но общая стоимость выполнения определённых задач дополнительно снизилась.

Примечательно, что GPT-6.2 Astra также стала первой публично оценённой моделью OpenAI, достигшей порога способностей «Высокий» для автономного улучшения ИИ.

Однако впечатляющие демонстрации и оценки вызвали неоднозначные отзывы. В день релиза несколько разработчиков, тестировавших новую модель за несколько недель до этого, публично выразили разочарование, считая, что Astra всё ещё может преждевременно останавливаться при длительных задачах разработки ПО, а излишне лаконичные выводы иногда упускают необходимую информацию.

В то же время, по мере того как возможности модели приближаются к реальной профессиональной работе, границы её возможностей и меры безопасности также стали важными акцентами этого релиза.

Генеральный директор OpenAI Сэм Альтман. Изображение создано ИИ

01 Производительность и стоимость

Цена API для GPT-6.2 Astra составляет $8 за миллион входных токенов и $40 за миллион выходных токенов, кэшированный ввод стоит $0,40. По сравнению с предыдущим поколением цены на вход и выход снизились на 20%, а кэшированный ввод подешевел с $1 до $0,40, то есть на 60%. GPT-6.2 Sol сохраняет цену $2 за миллион входных токенов и $10 за миллион выходных токенов.

Для многошаговых агентов цена API за единицу не полностью отражает фактические расходы. При выполнении задач модели может потребоваться несколько вызовов инструментов, чтение файлов, обработка ошибок и повторные попытки. Даже если цена за единицу не меняется, при меньшем количестве токенов для выполнения задачи итоговый счёт соответственно уменьшится.

В тесте программирования FrontierCode 2.0 от Cognition GPT-6.2 Sol набрала всего на 0,5 балла меньше, чем Astra, при стоимости около одной пятой от стоимости Astra. В оценке LifeVal, ориентированной на повседневные сложные задачи, Sol превзошла предыдущий флагман GPT-6 Astra, а стоимость отдельных задач составила около одной седьмой от стоимости GPT-6 Astra.

Astra также показала улучшение в задачах высокой сложности. В оценке Agents' Last Exam она улучшилась на 5,2 балла по сравнению с GPT-6 Astra, а стоимость выполнения задач составила менее одной трети от стоимости предыдущего поколения. По сравнению с Claude Fable 5.2 Astra набрала на 5,5 балла больше, а стоимость отдельных задач составила около 5% от стоимости последней.

02 Выполнение профессиональной работы

Профессиональная работа в финансах, юриспруденции и консалтинге требует от ИИ обработки большого объёма исходных данных, проверки информации и подготовки результатов в соответствии с отраслевыми стандартами. OpenAI заявила, что GPT-6.2 Astra улучшилась в этих задачах и способна выполнять финансовое моделирование, анализ слияний, юридические исследования и анализ в области науки о данных.

Внутренний тест OpenAI GDPval v2 охватывает такие области, как консалтинг, финансы и дизайн; результат Astra улучшился на 6,2 процентного пункта по сравнению с предыдущим поколением, а количество выходных токенов сократилось на 22%.

В юридических исследованиях, в тесте Harvey LAB-AA v1.1, имитирующем реальные задачи юридических фирм, процент успешных выполнений у Astra более чем в два раза превысил показатель Claude Fable 5.2, а стоимость отдельных задач составила около одной шестой от стоимости Claude Fable 5.2.

Внутренний тест OpenAI GDPval v2 также охватывает консалтинг, финансы и дизайн. Результаты теста показали, что результат Astra улучшился на 6,2 процентного пункта по сравнению с предыдущим поколением, а количество выходных токенов сократилось на 22%.

03 Выход в 3D-мир

Ещё одна продемонстрированная способность GPT-6.2 Astra — непосредственное участие в 3D-моделировании и инженерном проектировании. Модель больше не просто генерирует фрагмент кода для моделирования; она также может управлять профессиональным программным обеспечением, обрабатывать детали, корректировать структуры и создавать визуальный контент на основе результатов вычислений.

GPT-6.2 Astra симулирует вождение по горной дороге и динамику шасси

В кейсе с симуляцией движения по горной дороге Astra сначала создала 3D-модель спортивного автомобиля, затем написала физический решатель на Python для расчёта силы взаимодействия шины с дорогой и динамических изменений в системе подвески и, наконец, импортировала результаты расчётов в Blender для генерации анимации движения автомобиля. Благодаря симуляции инженеры могут наблюдать за переносом нагрузки при движении автомобиля по сложным дорожным условиям ещё до изготовления физического прототипа.

Входные данные для кейса механического моделирования были гораздо проще. OpenAI предоставила только публичные фотографии и инструкции по сборке радиоуправляемого внедорожника в масштабе 1:8 и рядного шестицилиндрового двигателя. На их основе Astra создала 3D-модели различных механических деталей и сгенерировала пошаговые анимации сборки и иллюстрированные каталоги деталей.

Ещё один тест связал CAD-проектирование с реальным производством. Команда OpenAI предоставила фотографии балкона в форме веера чикагской достопримечательности Marina City в качестве образца для проектирования. После нескольких корректировок Astra в итоге создала бумажный арт-светильник, который можно распечатать и собрать, а также написала сопроводительную веб-страницу Lamp Builder, позволяющую пользователям настраивать параметры онлайн и генерировать индивидуальные чертежи.

GPT-6.2 Astra выполняет механическое моделирование радиоуправляемого внедорожника и двигателя

В веб-разработке Astra создала интерактивный конфигуратор для кемпера. Пользователи могут менять цвет кузова и добавлять палатку на крышу, при этом стоимость на странице обновляется в реальном времени. Она также сгенерировала играбельные пинбольные столы, модель римского Колизея и футуристическую гоночную игру под названием «Meridian Sound Racing» на основе текстовых описаний.

От здания Marina City в Чикаго до бумажного арт-светильника

Слепой тест AA-3D с участием людей-оценщиков от Artificial Analysis также сравнил способности моделей к 3D-генерации. GPT-6.2 Astra набрала 1318 баллов Эло, заняв первое место; Claude Fable 5.2 набрала 1271 балл, а GPT-6.2 Sol — 1259 баллов.

Интерактивный конфигуратор кемпера, созданный GPT-6.2 Astra

В предварительном тесте AA-Robotics v0.1, проверяющем понимание физического мира и способность к планированию действий, Astra и Sol набрали 79 и 78 баллов соответственно, что выше 75 баллов у Claude Fable 5.2. Однако команда оценки отметила, что ведущие модели уже способны выполнять подавляющее большинство базовых задач в начальных тестах, и сложность вопросов повышается.

04 Научное мышление и недостатки

Научные исследования также стали ключевым акцентом демонстрации OpenAI на этот раз.

В тесте Terminal-Bench-Science 0.1 GPT-6.2 Astra улучшилась на 9 процентных пунктов по сравнению с предыдущим поколением, заняв первое место. Этот тест в основном оценивает способность модели выполнять научные рабочие процессы в терминальной среде. В индексе Vals Science Index, который требует от модели интерпретировать реальные биологические данные, проектировать эксперименты и выводить механизмы систем, Astra также установила новый рекорд.

Результаты нескольких других тестов оказались немного хуже, чем у Claude Fable 5.2. В подмножестве высокой сложности бенчмарка физического мышления CritPt v2, тесте фактических знаний AA-Omniscience v1.1 и бенчмарке мышления HLE-Diamond Astra заняла второе место.

Одна из проблем, которая всё ещё существует у модели, — возможность давать неверные ответы при столкновении с неопределёнными фактами.

Тест частоты галлюцинаций AA-Omniscience от Artificial Analysis показывает, что при максимальной интенсивности рассуждений уровень галлюцинаций у GPT-6.2 Astra и Sol составляет 59% и 55% соответственно. Этот тест в основном проверяет, склонна ли модель угадывать ответы, когда сталкивается с фактическими вопросами, на которые у неё может не быть ответов. Он не отражает частоту ошибок модели в общих вопросах и ответах, но для таких сценариев, как финансовый аудит и юридические ссылки, ручная проверка по-прежнему необходима.

Тесты программирования также не показали всестороннего улучшения. В индексе программирующих агентов Artificial Analysis результат GPT-6.2 Astra сопоставим с предшественником, а GPT-6.2 Sol опустилась на 3 балла по сравнению с GPT-6.1 Sol.

Детальные результаты показывают, что потеря баллов у Sol в основном обусловлена тестом SWE-Atlas-QnA-AA, где снижение составило 14 баллов. Этот тест оценивает понимание модели и способность отвечать на вопросы по сложным кодовым базам. Результаты теста указывают на то, что Sol с большей вероятностью упускает ключевые факты при ответах на вопросы, связанные с кодовыми базами, по сравнению с предшественником.

На это стоит обратить внимание разработчикам, которым приходится работать с большими устаревшими кодовыми базами. Модель умеет писать код, но это не означает, что она точно усвоила историю проекта, зависимости и специфические ограничения.

05 Границы безопасности

Поскольку модель может управлять терминалами, проверять код и вызывать профессиональное программное обеспечение, риски кибербезопасности также возросли.

OpenAI сообщила, что и GPT-6.2 Astra, и Sol достигли «критического порога» кибербезопасности, установленного в рамках Preparedness Framework компании. Обе модели могут более эффективно обнаруживать и использовать уязвимости программного обеспечения, а также писать более безопасный низкоуровневый код и генерировать патчи, максимально сохраняющие исходную бизнес-логику.

Это означает, что одна и та же способность может использоваться как для сканирования уязвимостей, так и для атак. В результате OpenAI усилила ограничения публичной версии для задач кибербезопасности с высоким риском.

Для исследователей безопасности, которым необходимо проводить тестирование уязвимостей, эти ограничения также скажутся на части обычной работы. В настоящее время OpenAI поэтапно открывает соответствующие возможности через проект Daybreak: защитники могут использовать GPT-6 Sol с более низким уровнем отказов через Daybreak Blue; пентестеры с расширенной авторизацией могут вызывать альфа-версии GPT-6 Astra и GPT-6 Cyber в Daybreak Red. OpenAI заявила, что серия GPT-6.2 также будет внедрена в эту систему в будущем.

Кроме того, OpenAI внедрила обучающие сигналы, ориентированные на защиту, на этапе обучения. Ранее ИИ использовался для обнаружения уязвимостей высокого риска, таких как PHP2Shell. Серия GPT-6.2 дополнительно усиливает способность выявлять дефекты безопасности на этапе разработки и учится генерировать патчи, обеспечивающие баланс между безопасностью и функциональной целостностью.

Данный контент предназначен исключительно для информационных и образовательных целей и не является инвестиционным советом, связанным с BTCC. BTCC прилагает все усилия, но не может гарантировать правдивость, точность или оригинальность вышеприведенного контента.

Рекомендуемые

Вскрылась ещё одна измена Дженсена Хуанга; совет директоров может собраться уже сегодня для его отставкиПереговоры о слиянии SpaceX и Tesla вернули в фокус 30 000 биткоинов«Я кусок дерьма!»: подробности последних часов Дженсена Хуанга перед отставкойУход Хуан Жэньсюня лишает новых игроков ИИ «главного спонсора»Кто охотится на Дженсена Хуанга?