ChatGPT й інші моделі ШІ не змогли скласти українське ЗНО

Українські дослідники протестували найпопулярніші моделі штучного інтелекту (ШІ) за завданнями ЗНО, але набрати понад 70% правильних відповідей не змогла жодна з них.

Розробники представили ZNOVision – це перший багатоформатний тест, який перевіряє можливості штучного інтелекту працювати з українською мовою, освітнім контентом і національною культурою, пише Медіа агентство АСС з посиланням на Захід.

ZNOVision складається з понад 4300 завдань, поділених на 13 категорій: від фізики та математики до історії й літератури. Понад половина завдань містить візуальний компонент – схеми, діаграми, карти, малюнки.

До тестування залучили шість основних моделей ШІ:

GPT4o;

Claude 3.5 Sonnet;

Gemini 1.5 Pro;

Qwen2VL72B;

Paligemma3B;

Версію PaligemmaFT.

Для обробки запитань та розгортання моделей команда використала хмарну інфраструктуру De Novo, яка надала доступ до GPU кластерів у приватній хмарі, сертифікованій за державними вимогами КСЗІ.

Найкращий результат:

Gemini Pro – 67,5%;

Claude 3.5 – 64,3%;

Qwen2VL – 51,2%;

GPT4o – 47 %.

Для порівняння, випадковий вибір дав би 22%. Помилки найчастіше траплялись у складних візуально-текстових завданнях: моделі не розпізнавали українські слова на зображеннях, плутали одиниці виміру, ігнорували частину формулювання.