Gemini научили пересматривать видео и искать нужные моменты

Google DeepMind представила Agentic Video Understanding — новый режим анализа видео для Gemini. Модель сама решает, какие фрагменты ей нужно изучить, чтобы ответить на вопрос пользователя.

Обычный режим обрабатывает видео с фиксированной частотой — по умолчанию один кадр в секунду. Такой подход подходит для коротких роликов, но плохо справляется с быстрыми движениями. Хлопок в ладоши или резкая смена кадра могут просто не попасть в выборку.

С длинными записями возникает другая проблема. Если подробно загрузить лекцию или многочасовой эфир целиком, модель потратит слишком много токенов. Если сократить число кадров, она рискует пропустить важную деталь.

Новый режим сначала ищет подходящий участок по видео, звуку и расшифровке речи. Затем Gemini может вернуться к этому фрагменту, повысить частоту кадров или разрешение и проверить его ещё раз. Вся запись больше не обрабатывается с одинаковой детализацией.

Это позволяет находить события длительностью меньше секунды, определять места монтажа и считать быстрые движения. Режим также подходит для поиска нужного эпизода в многочасовой записи и проверки только тех участков, где система заметила отклонение.

По данным Google, в тестах с Gemini 3.7 Flash новый подход сократил расход токенов максимум на 88% и повысил точность примерно на 7%. В отдельном тесте на понимание длинных видео стоимость анализа снизилась максимум на 66%.

Agentic Video Understanding доступен через Gemini API в Google AI Studio и Gemini Enterprise Agent Platform. Он работает с загруженными файлами и общедоступными роликами YouTube. Отдельной платы за режим нет: разработчики оплачивают обычный расход токенов Gemini API.

Функция поддерживается моделями Gemini 3.7 Flash, 3.6 Flash и 3.5 Flash-Lite. Google также планирует добавить её в приложение Gemini, а в ближайшие месяцы — в функцию Ask YouTube. Для роликов короче пяти минут компания по-прежнему предлагает обычный режим, если важнее скорость ответа.