Компанія Visage Technologies, що спеціалізується на комп'ютерному зорі та штучному інтелекті, запустила дослідницький проєкт вартістю 3,1 млн євро. Мета — створити афективно-когнітивну платформу, яка підлаштовує цифрове навчання та симуляційні тренінги під емоційний і розумовий стан людини.

Європейський Союз покриє 1,9 млн євро витрат на цей проєкт, який триватиме з квітня 2026 по квітень 2029 року.

Керує розробкою підрозділ Visage AI Labs компанії Visage Technologies d.o.o. До роботи долучилися Факультет гуманітарних і суспільних наук Загребського університету та Факультет морських досліджень Рієцького університету. Спочатку технологію випробують на тренажерах для навчання судноводінню, адже людська помилка через надмірне розумове навантаження досі залишається однією з головних причин аварій на морі.

Visage Technologies заснували 2002 року, штаб-квартира компанії розташована у Швеції, а дослідницькі підрозділи працюють у Хорватії. Компанія створює технології відстеження та аналізу обличчя, які застосовують в автомобільній, оборонній, промисловій галузях та охороні здоров'я.

Більшість платформ для електронного навчання й професійних тренажерів орієнтуються лише на відповіді користувача чи його результати, не враховуючи розумові зусилля або рівень залученості. Через це системи погано підлаштовуються під індивідуальні потреби учнів, а викладачам складно оцінити, наскільки змодельовані сценарії відтворюють реальний тиск, з яким стикаються люди на практиці.

Visage Technologies планує усунути ці недоліки, розробивши моделі машинного навчання, які аналізують дані з камер, мікрофонів, носимих пристроїв та інших сенсорів, щоб визначати когнітивний і емоційний стан людини.

На першому етапі дослідники зосередяться на показниках когнітивного навантаження, залученості, валентності та збудження. Остаточний перелік індикаторів визначать пізніше — залежно від того, наскільки надійними виявляться моделі після збору даних.

The main idea behind the project is to help people learn by tracking two signals: stress level and cognitive load. If someone is overloaded with stress, they will have a hard time learning anything. It can also work the other way. If a person is bored, we can make them more engaged in the task. We can integrate any camera and any hardware, and everything we do runs on the edge

Hrvoje Šamija, Chief Business Development Officer у Visage Technologies

У межах проєкту створять базову платформу для збору сенсорних даних та два застосунки на її основі. ACInsight SDK об'єднуватиме інформацію з різних сенсорів, щоб оцінювати когнітивно-емоційний стан людини. ACTutor інтегруватиметься з наявними платформами електронного навчання й адаптуватиме навчальні матеріали під індивідуальні потреби користувача. ACTrainer, своєю чергою, допомагатиме професійним тренажерам оцінювати, наскільки змодельовані сценарії відтворюють когнітивне й емоційне навантаження реальних ситуацій.

За словами Bruno Rosan, Senior R&D Engineer у Visage Technologies, компанія розробляє всю систему власними силами — від обробки даних і моделей машинного навчання до розгортання на пристроях.

Платформу проєктують з урахуванням вимог до приватності, захисту даних і кібербезпеки — зокрема положень GDPR, AI Act Євросоюзу та директиви NIS2, включно з регуляторними обмеженнями щодо технологій моніторингу когнітивного й емоційного стану людини.