OpenAI открыла Decisions API для всех: быстрые решения на базе ChatGPT Luna
OpenAI открыла доступ к Decisions API для всех клиентов. Новый инструмент на базе ChatGPT Luna предназначен для быстрой классификации и выбора, а время отклика в тестах сократилось до 100–180 миллисекунд.
Что такое Decisions API
Decisions API — это модель, которая по заданному набору вариантов быстро выбирает один и указывает уверенность в решении. Такие системы, которые называют «системными» или «быстрыми» моделями, заменяют классические LLM в задачах классификации и выбора, работая значительно быстрее и дешевле.
OpenAI не стала создавать специализированную модель принятия решений, а взяла ChatGPT Luna и перенастроила её для ускорения вывода и снижения стоимости. Продукт был анонсирован 29 сентября на дне разработчиков, а с четверга стал доступен всем клиентам.
Скорость и новые возможности
По словам руководителя API OpenAI Никунджа Ханды, главное достижение — сокращение задержки с одной–трёх секунд до 100, 120 или 180 миллисекунд. В публичной версии появились голосовые и визуальные модальности, а также оптимизация задержки в разных регионах за счёт географического размещения вычислительных ресурсов.
Ханда отметил, что в будущем OpenAI может обучить модель специально для таких задач, но сейчас «обычная Luna справляется». Он также предположил, что дальнейшее ускорение до 60 миллисекунд позволит вызывать API для каждого кадра видео.
Кто уже использует
В первоначальных испытаниях Decisions API применяли Box, Datadog, Ramp и Speak для замены LLM OpenAI на более производительные решения. Технический директор Speak Эндрю Сю сообщил, что время между действиями в его ИИ-репетиторе сократилось с 1,4 секунды до 0,13 секунды.
Сама OpenAI использовала продукт для повышения отзывчивости голосового ассистента Dots. Ранее, в сентябре, компания уже представила ИИ-ассистента Codex на конференции DevDay.
Конкуренция и бенчмарки
Рынок быстрых моделей активно развивается: стартап TypeSafe с моделью Jev недавно получил оценку в 7,6 млрд долларов. В публичных рейтингах AIM System One Index и Artificial Analysis Decision Index лидируют D1 Ultra от Liquid и Elephant-1 от Base Lab, а Jev и решение OpenAI занимают седьмое и третье, а также восьмое и четырнадцатое места соответственно.
При этом на OpenRouter решения TypeSafe пока остаются наиболее часто запрашиваемыми. Глава TypeSafe Диогу Алмейда призывает тестировать модели в собственных задачах и не доверять бенчмаркам, хотя его компания также публикует собственные рейтинги. В бенчмарке JevMan, где модели играют в Pac-Man, последняя версия Jev лидирует.
Что это значит для пользователей
- Разработчики и компании смогут быстрее автоматизировать рутинные задачи: классификацию, выбор из вариантов, обработку изображений и голоса — с задержкой в доли секунды.
- OpenAI пока не сообщила, будет ли Decisions API доступен бесплатно или по какой цене; информация о тарифах не раскрыта.
- При использовании стоит учитывать, что модель может ошибаться в неоднозначных случаях, а данные, передаваемые через API, обрабатываются на серверах OpenAI — как и в других продуктах компании.
- По сравнению с классическими LLM новый инструмент даёт выигрыш в скорости и стоимости, но требует тестирования под конкретную задачу, поскольку качество калибровки может различаться.
Источник: techcrunch.com
Обсудить в Telegram
