Together.AI представляет усовершенствованный Batch Inference API с расширенными возможностями

Тони Ким 16 сентября 2025 07:00

Together.AI модернизировал свой Batch Inference API, предложив упрощенный интерфейс, универсальную поддержку моделей и увеличение лимита скорости в 3000 раз до 30 миллиардов токенов, что улучшает обработку данных в крупных масштабах.

Together.AI объявил о значительных обновлениях своего Batch Inference API, направленных на упрощение и ускорение обработки крупномасштабных рабочих нагрузок ИИ. Эти улучшения включают усовершенствованный пользовательский интерфейс, расширенную поддержку моделей и значительное увеличение лимитов скорости, сообщает Together.AI.

Упрощенный пользовательский интерфейс

Новый интерфейс позволяет пользователям более интуитивно создавать и отслеживать пакетные задания, устраняя необходимость в сложных вызовах API. Это развитие ожидаемо улучшит пользовательский опыт и операционную эффективность.

Универсальная поддержка моделей

Обновленный Batch Inference API теперь поддерживает все бессерверные модели и частные развертывания. Этот универсальный доступ к моделям позволяет пользователям выполнять пакетные рабочие нагрузки на любой требуемой модели, увеличивая гибкость и масштабируемость.

Улучшение масштабирования

Одним из наиболее значительных улучшений является увеличение лимитов скорости с 10 миллионов до 30 миллиардов токенов в очереди на модель на пользователя. Это улучшение в 3000 раз позволяет обрабатывать огромные наборы данных без узких мест, способствуя более быстрой и эффективной обработке данных.

Экономическая эффективность

Batch Inference API теперь работает вдвое дешевле, чем API реального времени для большинства бессерверных моделей. Это снижение стоимости делает его более экономичным выбором для обработки высокопроизводительных рабочих нагрузок, делая крупномасштабный вывод доступным и рентабельным.

Практическое применение

Владимир Кулешов, соучредитель Inception Labs, подчеркнул влияние API, заявив, что он позволяет обрабатывать большие запросы без узких мест, обеспечивая более быстрое экспериментирование. Inception Labs, среди других команд, использует API для исследовательских и производственных рабочих нагрузок, демонстрируя его широкую применимость.

Идеальные сценарии использования

Batch Inference API особенно подходит для сценариев, требующих высокой пропускной способности без ограничений реального времени. Это включает крупномасштабный анализ текста, обнаружение мошенничества, генерацию синтетических данных, создание эмбеддингов, модерацию контента, оценку моделей и автоматизацию поддержки клиентов.

Перспективы развития

Улучшения Batch Inference API знаменуют собой значительный прогресс в доступности и эффективности крупномасштабной обработки ИИ. С этими обновлениями Together.AI позиционирует свой API как ведущее решение для организаций, стремящихся масштабировать свои эксперименты и приложения ИИ эффективно.

• ии
• пакетный вывод
• api
• технологии

Перевод: AltcoinNinja