OpenAI открыла всем быстрый ИИ для решений за доли секунды

OpenAI сделала Decisions API доступным всем клиентам. Это модель для задач, где нужно быстро выбрать один вариант из нескольких и указать уверенность в ответе.

Вместо отдельной модели компания ускорила и удешевила ChatGPT Luna. По словам Никунджа Ханды, руководителя направления API в OpenAI, время обработки удалось сократить с одной–трёх секунд до 100–180 миллисекунд.

Такие системы называют моделями решений или «Системой 1». Они не пишут длинные тексты и не рассуждают вслух. Их задача — мгновенно классифицировать запрос, выбрать действие или направить данные по нужному маршруту.

Категорию популяризировала TypeSafe, основанная бывшим исследователем одной из ведущих ИИ-лабораторий. Её модель Jev показала разработчикам, что во многих процессах большую языковую модель можно заменить более быстрым и дешёвым инструментом.

Публичная версия Decisions API получила поддержку голоса и изображений. OpenAI также распределила вычислительные ресурсы по регионам, чтобы уменьшить задержку для пользователей из разных стран.

До общего запуска API тестировали Box, Datadog, Ramp и Speak. В сервисе языковых ИИ-репетиторов Speak время между действиями сократилось с 1,4 до 0,13 секунды. Сама OpenAI использовала технологию, чтобы ускорить голосового помощника Dots.

На публичных тестах продукт OpenAI пока не лидирует. В индексах AIM System One и Artificial Analysis Decision Index выше располагаются модели D1 Ultra от Liquid, Elephant-1 от Base Lab и последние версии Jev. При этом результаты сильно зависят от конкретной задачи: важны не только качество ответа, но и цена, скорость и точность оценки уверенности.

OpenAI уже обсуждает задержку около 60 миллисекунд. При такой скорости модель решений можно вызывать почти для каждого кадра видео. Decisions API превращает ИИ из собеседника в быстрый управляющий слой для приложений.