Mistral собрала модель на триллион параметров и через три недели откроет её веса

Французская Mistral AI представила Mistral Large 4 — мультимодальную модель на 1 трлн параметров. Внутри компании её прозвали Le Chonk, то есть «толстяк». Она умеет работать не только с текстом, но и с другими типами данных.

Сейчас ML4 доступна только через публичный API с защитными фильтрами. Mistral обещает открыть веса модели через три недели, когда завершит проверку безопасности. После этого компании смогут запускать её на своей инфраструктуре, изучать устройство и адаптировать под собственные задачи.

Пьер Сток, вице-президент Mistral по науке, объяснил задержку риском злоупотреблений. Лаборатория собирается проверить вместе с государственными структурами и доверенными партнёрами, как модель может применяться для защиты от атак и как ограничить её использование самими злоумышленниками.

По данным Mistral, модель обучили на вычислительной инфраструктуре самой компании с использованием 4 тысяч ускорителей Nvidia. Сток утверждает, что китайским конкурентам для сопоставимых проектов требуется в два-три раза больше оборудования, а разработчикам закрытых моделей — ещё больше.

Независимых результатов тестирования ML4 пока нет. Mistral рассчитывает вывести её в лидеры среди моделей с открытыми весами и отдельно делает ставку на кибербезопасность, финансы и проектирование микросхем.

Последнее направление связано и с инвесторами лаборатории. Раунд серии C возглавила нидерландская ASML, выпускающая оборудование для производства чипов. Следующий раунд провела Samsung, после чего Mistral оценили в €21 млрд, или примерно $24,4 млрд.

Публикация весов станет главным тестом заявления Mistral: пока у ML4 есть масштаб и обещанная дата открытия, но нет независимых оценок качества.