NVIDIA представляет Nemotron Nano 2 9B для повышения производительности Edge AI

Каролин Бишоп 19 августа 2025 16:37

Новая модель NVIDIA Nemotron Nano 2 9B предлагает превосходную точность и эффективность для Edge AI приложений, обладая гибридной архитектурой и настраиваемым бюджетом вычислений.

NVIDIA представила Nemotron Nano 2 9B — передовую модель, разработанную для повышения производительности Edge AI с высокой точностью и эффективностью. Этот новый релиз, часть семейства Nemotron, ориентирован на предоставление превосходных возможностей логического вывода для корпоративных AI приложений, согласно данным Hugging Face.

Передовая гибридная архитектура

Nemotron Nano 2 9B использует гибридную архитектуру Transformer–Mamba, которая сочетает преимущества обеих технологий для оптимизации пропускной способности и сохранения точности. Эта конструкция позволяет модели генерировать токены до шести раз быстрее аналогов, что делает её идеальной для сред с низкой задержкой. Настраиваемый бюджет вычислений модели дополнительно повышает эффективность, позволяя разработчикам регулировать точность, пропускную способность и стоимость в соответствии с конкретными потребностями.

Ключевые особенности и применения

С 9 миллиардами параметров, Nemotron Nano 2 9B предназначена для различных приложений, включая клиентский сервис, чат-боты поддержки и аналитические копилоты. Её гибридная архитектура поддерживает высокую пропускную способность, что критически важно для приложений реального времени на периферии. Модель доступна через Hugging Face, а NVIDIA планирует сделать её доступной через NVIDIA NIM для развертываний с высокой пропускной способностью и низкой задержкой.

Эффективность через бюджет вычислений

Инновационная функция бюджета вычислений позволяет пользователям ограничивать количество токенов, используемых для логического вывода, потенциально сокращая затраты до 60% без компромисса в точности. Эта особенность особенно полезна для приложений со строгими требованиями ко времени отклика, таких как чат-боты клиентского сервиса и периферийные устройства с ограниченными ресурсами.

Разработка и оптимизация

Nemotron Nano 2 была разработана с использованием sophisticated процесса пост-обучения, включающего контролируемую тонкую настройку и обучение с подкреплением для обеспечения надежной производительности в широком спектре задач. Модель также прошла процесс сжатия для соответствия аппаратным ограничениям при сохранении высокой пропускной способности и точности.

Начало работы

Разработчики, заинтересованные в использовании Nemotron Nano 2 9B, могут начать с изучения модели на Hugging Face. Открытый характер модели способствует дальнейшей разработке и customization для удовлетворения конкретных корпоративных потребностей. Приверженность NVIDIA поддержке сообщества open-source очевидна в выпуске дополнительных технических ресурсов и наборов данных для помощи разработчикам.

• nvidia
• искусственный интеллект
• периферийные вычисления
• машинное обучение

Перевод: B1tC0in