ИИ для написания кода: AI-помощники, рабочие практики и как выбрать инструмент /Артем Климов

Overview

• Спикер с 20-летним опытом в аналитике данных обсудил эволюцию от data mining к AI, подчеркивая неизменные подходы в процессе.
• В области написания кода достигнута существенная экономия, хотя общий финансовый эффект от AI остаётся невысоким.
• Концепция Knowledge Discovery Database, представленная Григорием Петецкой-Шапирой, включает этапы от эксперта до интерпретации данных.
• Пример системы в биоинформатике показал важность участия экспертов в анализе научных статей.
• AI-технологии могут повысить эффективность работы экспертов в 5-10 раз, позволяя им решать задачи самостоятельно.
• Первое поколение AI-помощников генерирует код на основе текстового описания, представлен инструмент Chatbot Arena для выбора моделей.
• Для Queen3 с 32M параметрами требуется около 1 миллиона рублей оборудования, что важно для выбора модели.
• Мультиагентные системы, состоящие из агентов для написания, тестирования и корректировки кода, рекомендуют создавать фреймворки самостоятельно.
• Devin увеличил успешность автономного изменения кода с 1.96% до 13.86%, а с участием человека - до 23%.
• Ключевые навыки эксперта включают декомпозицию задач и правильное

Введение и цель доклада (00:02 - 01:53)

• Спикер представился как эксперт по аналитике данных с 20+ летним опытом.
• Объяснил эволюцию от data mining к big data и AI.
• Подчеркнул, что основные подходы остались неизменными.

AI-хайп и реальные результаты (01:53 - 03:22)

• Несмотря на повсеместное обсуждение AI, мало кто получил финансовые эффекты.
• В области написания кода уже достигается существенная экономия.

Основы Knowledge Discovery Database (03:22 - 04:41)

• Представлена концепция 1992 года Григория Петецки-Шапиры.
• Эксперт → гипотеза → предобработка → data mining → интерпретация.
• Эксперт остается основой на всех этапах.

Кейс биоинформатики (04:41 - 05:57)

• Приведен пример создания пилотной системы для поиска и анализа научных статей в биологии.
• Подчеркнута важность экспертного участия.

10x эксперт-разработчик (05:57 - 08:43)

• AI-технологии позволяют экспертам повысить эффективность в 5-10 раз.
• Эксперты могут решать задачи самостоятельно без ожидания разработчиков.

Три поколения AI-помощников (08:43 - 09:59)

• Первое поколение: базовая генерация кода по текстовому описанию задачи.
• Представлен инструмент Chatbot Arena для выбора моделей написания кода.

Параметры выбора модели (09:59 - 13:09)

• Контекстное окно (128k токенов стандарт) и размер модели (1 млрд параметров = 1 ГБ GPU памяти).
• Для Queen3 32M параметров нужно ~1 млн рублей оборудования.

Мультиагентные системы (13:09 - 16:11)

• Система из трех агентов: написание кода, тестирование, корректировка.
• Рекомендация писать фреймворки самостоятельно из-за ограничений готовых решений.

HumanVAL бенчмарк (16:11 - 19:51)

• Инструмент для выбора мультиагентных систем.
• Лидер MgDebugger на базе DeepSeek R1.

Автономные мультиагентные системы (19:51 - 22:47)

• До Devin модели решали только 1.96% задач автономного изменения кода.
• С Devin показатель вырос до 13.86%, с участием человека до 23%.
• Развитие идей Devin в open-source формате.

OpenAI Codex (22:47 - 24:07)

• Популярная система работающая с терминалом.
• Позволяет запускать до 100 параллельных задач, но не участвует в бенчмарках.

Ключевые навыки эксперта (24:07 - 26:55)

• Постановка задач исходя из бизнес-потребностей и знания предметной области.
• Декомпозиция задач для лучшего решения моделями.
• Правильное тестирование и обратная связь для непрерывного улучшения системы.

Практические рекомендации (26:55 - 35:04)

• Основные инструменты: OpenAI Codex, ChatGPT, DeepSeek, Queen A, Mistral.
• Open-source модели как качественные альтернативы.
• Не рекомендуется дообучать модели под свою кодовую базу.

Правильный пайплайн (35:04 - 37:44)

• Качественная сегментация кода.
• Выделение метаданных через LLM.
• Модель-роутер для поиска релевантной информации.