ChatGPT научили выполнять задачи на компьютере по голосовой команде

OpenAI научила ChatGPT управлять компьютером голосом

OpenAI обновила десктопное приложение ChatGPT: теперь с ним можно разговаривать, а не только печатать. Голосом можно запускать AI-агентов и заставлять их выполнять задачи прямо на компьютере.

Функция работает на связке с ChatGPT Work — версией чат-бота для рабочих задач — и Codex, инструментом OpenAI для написания кода. В демо-ролике разработчик одной голосовой командой попросил ChatGPT создать новый тред, оформить pull request и найти причину бага в коде.

В основе — ChatGPT-Live, семейство голосовых моделей, которое OpenAI выпустила ранее в этом месяце. На Mac приложение умеет видеть экран пользователя через функцию Appshots — включая alt-текст на скриншотах.

Голосовой режим для смартфонов OpenAI показала раньше. Там ассистент умел вести плавный разговор и корректно реагировать на то, что его перебивают, но действия на телефоне не выполнял. Десктопная версия пошла дальше: она принимает многошаговые команды и умеет спрашивать пользователя, если для продолжения нужен его ответ. Голосом Codex можно управлять и с iPhone — через удалённый доступ к десктопу.

Голосовой режим Claude от Anthropic тоже научился работать в Gmail, Calendar, Slack, Notion и Canva, используя модели Opus, Sonnet и Haiku.