Как ИИ меняет парадигму работы с огромными объемами технической документации

На встрече под названием "Как искусственный интеллект меняет парадигму работы с огромными объемами технической документации" была обсуждена технология RAC (Retrieval Augmented Generation), которая используется для работы с большими объемами документов в различных отраслях, таких как строительство и космическая индустрия. Участники узнали о практических кейсах, включая сверку требований и оспаривание претензий регуляторов, а также о решении проблемы галлюцинаций, возникающих при обработке данных. Презентация касалась как простого, так и глубокого анализа документов, подчеркивая, что глубокое размышление важно для обработки больших объемов информации. Технические аспекты гарантировали более высокую точность ответов системы, включая использование библиотеки Explained Tool для проверки ответов и стратегий борьбы с галлюцинациями.

Введение в RAC и его применение (00:00 - 05:05)

• RAC - Retrieval Augmented Generation, генерация, дополненная извлеченными данными
• Применяется для работы с большими объемами технической документации
• Клиенты: архитекторы, строители, металлурги, космическая отрасль, инженеры, специалисты по сертификации
• Система индексирует загруженные документы и отвечает на вопросы пользователей

Бизнес-кейсы и функциональность (05:05 - 13:50)

• Сверка требований в своде правил
• Оспаривание претензий регуляторов (пример с этажностью здания)
• Сопоставление данных из таблиц разных документов
• Проблема галлюцинаций и их предотвращение
• Возможность проверки ответов системы с оригинальным источником

Размышления и глубокий анализ (13:50 - 21:13)

• Два вида размышлений: простое (для 1-3 документов) и глубокое (для большого количества документов)
• Глубокое размышление дает наибольшее преимущество при анализе около 50 документов
• Система расширяет запрос пользователя для более полного ответа
• Примеры работы с ГОСТами и сравнение ответов с включенным и выключенным размышлением

Технические детали и борьба с галлюцинациями (21:13 - 27:57)

• Использование библиотеки Explained Tool для проверки на галлюцинации
• Разбиение ответа на смысловые блоки и сверка с оригинальными документами
• Нормализация значений эмбеддеров и решение проблем с внутритекстовыми различиями
• Параллельный алгоритм размышлений для повышения скорости работы
• Стратегии борьбы с обнаруженными галлюцинациями: отказ от ответа или перегенерация