Мовні моделі вже непогано розбирають зміст сказаного, проте живе спілкування людей ніколи не зводилося лише до слів: вагання, впевненість, сумнів, зацікавленість чи згода часто передаються без жодного прямого висловлювання.
Ці невербальні сигнали визначають, як ми тлумачимо розмову, але для більшості сучасних ШІ-систем вони лишаються практично непомітними. Саме над вирішенням цієї проблеми працює копенгагенський стартап Interhuman AI.
Компанія входить до нечисленної групи європейських ІТ-стартапів, що будують власні моделі з нуля, і розвиває технологію Social Intelligence, яка допомагає штучному інтелекту зчитувати соціальні сигнали. Найновіша розробка компанії, модель Inter-2, аналізує такі сигнали одночасно в тексті, аудіо та відео в режимі реального часу.
Від ChatGPT до соціального інтелекту
Видання Tech.eu поспілкувалося із співзасновниками компанії — операційною директоркою Фредеріком Саллі та генеральною директоркою Паулою Петку, щоб детальніше розібратися в ідеї проєкту. За словами Петку, задум Interhuman виник саме тоді, коли на ринок масово вийшли великі мовні моделі на кшталт ChatGPT.
Попри те, що ці моделі змінили саму природу взаємодії людини з ШІ, вони й досі не бачать мови тіла, тону голосу, виразу обличчя та інших соціальних сигналів. У той період Петку працювала у фармацевтичній галузі та досліджувала, як штучний інтелект може краще розуміти пацієнтів під час клінічних випробувань.
That's where the idea came from: could we combine large language models with models analysing video and audio from a camera and microphone, and add another layer of sensing to understand what the user is actually communicating?
Паула Петку, CEO Interhuman AI
На одному з вебінарів Петку познайомилася із співзасновницею та директоркою з розвитку Лайн Клемменсен, яка вже досліджувала цю тему. Разом вони створили перший прототип — ШІ-коуча, що реагував не лише на слова людини, а й на манеру, в якій вони промовлялися.
Пізніше команда долучилася до програми Antler для пошуку співзасновників, де вони познайомилися із Саллі, який приніс у проєкт досвід у сфері операційної діяльності та продукту.
The user experience of AI depends enormously on how the model reacts to you and how well it understands you.
Фредерік Саллі, COO Interhuman AI
Inter-2 — перша модель у новій лінійці розробок компанії. Вона аналізує міміку, тон голосу, мову тіла та поведінкові маркери на кшталт зміни погляду, постави й рухів голови, щоб у режимі реального часу виявляти 12 соціальних сигналів, серед яких залученість, вагання, невпевненість, розгубленість, згода та незгода. За словами компанії, Inter-2 також забезпечує вивід результатів у чотири рази швидше за попередників і показує кращі результати в бенчмарках, що робить виявлення сигналів у реальному часі практичнішим у масштабі.
Today's models are remarkably capable and still socially deaf. They respond to the words, not to the person who wrote them. A correct answer delivered at the wrong moment is still a bad answer.
Фредерік Саллі, COO Interhuman AI
На шляху до штучного соціального інтелекту
Inter-2 — це крок до того, що в Interhuman називають Artificial Social Intelligence: наближення систем ШІ до тієї перцептивної здатності, якою люди щодня послуговуються під час спілкування. Компанія поєднує біхевіоральну науку з машинним навчанням, перетворюючи те, як люди сприймають і трактують одне одного, на структуровані сигнали, які здатні опрацьовувати ШІ-системи. Всі моделі компанія розробляє самостійно.
Петку зазначає, що великі лабораторії штучного інтелекту зосереджені передусім на загальному інтелекті й продуктивності, приділяючи менше уваги людському спілкуванню та виявленню соціальних сигналів.
If you don't account for this layer in future AI systems, there's a risk of over-optimising workflows and productivity without considering the potential consequences.
Паула Петку, CEO Interhuman AI
Як приклад вона наводить сортування пацієнтів в охороні здоров'я за допомогою ШІ: якщо людина роздратована або пригнічена під час телефонної розмови з системою, яка не вміє розпізнавати такі сигнали, це може призвести до хибного рішення щодо надання невідкладної допомоги. У робототехніці ж нездатність гуманоїдного робота вчасно зрозуміти, що дію потрібно зупинити, може спричинити фізичну шкоду.
Складність трактування людської поведінки
Людська поведінка хаотична й дуже індивідуальна. Через особисті особливості один і той самий соціальний сигнал може означати різні речі залежно від людини чи контексту. Наприклад, пауза чи вагання можуть свідчити про невпевненість, а можуть просто означати, що людина обдумує наступні слова.
Принципово важливо, що Interhuman створює свої моделі так, щоб їхні висновки можна було простежити, — це дає кінцевим користувачам змогу розуміти, які саме сигнали спричинили той чи інший висновок.
We thought it was important to include the rationale behind the model's outputs. You should be able to trace what caused a particular signal to be identified. We're trying to make the model as transparent as possible so you can understand what was behind an assessment.
Паула Петку, CEO Interhuman AI
Наприклад, уявімо ШІ-асистоване співбесідування — має бути можливість простежити, що саме відбулося під час такої розмови.
Why did the model identify hesitation at that particular moment? As a human being, if an AI is determining something about my future, I want to be able to question it.
Паула Петку, CEO Interhuman AI
Ще одним викликом є врахування відмінностей культури, мови, віку, нейрорізноманіття та індивідуального стилю спілкування.
На думку Саллі, розв'язання цієї проблеми починається зі збору достатньо різноманітних даних та їхньої коректної анотації. Спочатку компанія використовувала загальнодоступні дані, щоб зрозуміти масштаб проблеми і напрацювати процес анотування.
Тепер компанія також збирає власні дані: співробітники записують різні типи розмов, а додатково залучаються зовнішні постачальники даних для розширення наборів. Interhuman співпрацює з експертними анотаторами, зокрема психологами та поведінковими науковцями, які розмічають поведінкові дані для навчання моделей.
За словами Саллі, побудова цього конвеєра даних — і навчання людей послідовно анотувати матеріал — становить значну частину роботи компанії.
Our approach is grounded in behavioural-science literature, and we're trying to make it as rigorous as possible from the beginning.
Фредерік Саллі, COO Interhuman AI
Відповідальність за створення ШІ
Із зростанням можливостей штучного інтелекту дедалі гострішими стають питання приватності, маніпуляцій та контролю людини над системами.
Social Intelligence should not be about judging people or claiming to know what someone is thinking. It should give AI more context to understand human communication, while keeping people in control of how that information is used.
Паула Петку, CEO Interhuman AI
Журналіст поцікавився, як Interhuman контролює, щоб компанії-клієнти використовували її моделі відповідально. Саллі визнає, що це питання команда обговорює регулярно.
Interhuman уже окреслила певні межі щодо того, з ким готова співпрацювати, — зокрема відмовила інвестору, зацікавленому у застосуванні технології для оборонних цілей. Як приклад можливого зловживання соціальним інтелектом Саллі наводить розумні окуляри з підтримкою ШІ:
Imagine adding our technology to that and using it to analyse strangers as you move through the real world — potentially even using those insights to manipulate people or gain an advantage over them.
Фредерік Саллі, COO Interhuman AI
У міру того як дедалі більше компаній почнуть використовувати технологію, Interhuman планує розробити ширший набір правил щодо прийнятного застосування своїх моделей — на додачу до обмежень, які вже накладає на певні застосунки ШІ європейське регулювання.
Петку зазначає, що компанія наразі достатньо невелика, щоб зберігати повну видимість того, як клієнти використовують її системи, і напряму спілкуватися з ними.
That lets us learn more about their business, answer questions about the EU AI Act or data privacy, and potentially tell them, 'You can't use this technology for the purpose you're intending.'
Паула Петку, CEO Interhuman AI
Interhuman відповідає вимогам GDPR і наразі проходить аудити для отримання сертифікатів безпеки. Прозорість процесів компанії допомагає в переговорах із клієнтами та їхніми юридичними відділами.
Де можна застосувати соціальний інтелект
Interhuman не прив'язана до конкретної галузі: компанія надає API, через який інші компанії отримують доступ до її моделі. Наприклад, серед клієнтів є розробники застосунків для рольових тренінгів у корпоративному навчанні — практика складних розмов, переговорів про підвищення зарплати чи співбесід з ШІ. Система дає зворотний зв'язок не лише щодо змісту сказаного, а й щодо манери мовлення.
That makes the feedback much more actionable because it can also assess how you present yourself.
Фредерік Саллі, COO Interhuman AI
Компанія також працює у сфері цифрового здоров'я, зокрема із клінічними психологами данського Центру психічного здоров'я дітей та підлітків, підтримуючи застосунок, який допомагає батькам ефективніше спілкуватися з дітьми.
For example, if a child doesn't want to go to school and is screaming, how do you handle that situation? How do you make sure you're using the right body language, tone of voice, and words?
представник Interhuman AI
Є й напрям цифрового коучингу здоров'я — емпатійний ШІ-коуч, який здатен розпізнати, як саме людина щось говорить, і за потреби запитати, чи не приховано за цим щось більше.
Then there are applications in sales training and sales intelligence, including meeting note-takers and sales coaching.
Фредерік Саллі, COO Interhuman AI
Ще одна сфера застосування — маркетингові дослідження.
You might have an AI interviewer asking a customer what they think about a product's taste. If they say it's sweet, the AI can recognise signals around that response and probe further: is it too sweet?
Паула Петку, CEO Interhuman AI
У майбутньому в компанії розраховують, що соціальний інтелект стане окремим шаром для робототехніки, догляду за літніми людьми, ШІ-компаньйонів та інших фізичних застосунків. Interhuman також веде переговори з компаніями, які прагнуть «олюднити» своїх аватарів, — одна з проблем, над якою вони працюють, полягає в тому, як аватар має поводитися просто слухаючи співрозмовника.
That's actually a difficult problem. How should it react while another person is speaking? Companies are approaching us about using our technology for that.
Фредерік Саллі, COO Interhuman AI
Соціальна обізнаність ШІ у складніших розмовах
Хоча Interhuman багато уваги приділяла тренінгам продажів, коучингу та аналітиці продажів, чимало дзвінків клієнтської підтримки й продажів відбуваються по телефону.
That's voice-only, so you don't have visual information.
Фредерік Саллі, COO Interhuman AI
Interhuman розробляє модель, здатну працювати саме з такими умовами: працювати з багатим набором даних, що містить і відео, і аудіо, значно простіше, пояснює Саллі.
When you have only the voice, understanding what is happening becomes more difficult.
Фредерік Саллі, COO Interhuman AI
Водночас це відкриває шлях до значно більшої кількості голосових ШІ-застосунків. Саллі прогнозує, що голос стане наступним великим інтерфейсом для взаємодії зі штучним інтелектом.
We've spent a lot of time interacting through chat, but we're already seeing developers speaking to their AI coding agents.
Фредерік Саллі, COO Interhuman AI
Далі компанія працює над удосконаленням окремих сигналів та підвищенням стійкості моделі до «шумних» даних. Крім того, вона прагне підтримувати розмови за участю кількох людей одночасно.
What is the relationship between those two people? How should the AI approach person A versus person B? What do they know about each other?
Паула Петку, CEO Interhuman AI
There's a lot of nuance that we still need to teach the model.
Паула Петку, CEO Interhuman AI
Ще одна сфера дослідження — динаміка влади в розмові. Співбесіда на роботу разюче відрізняється від дружньої бесіди, і той самий сигнал може означати різне залежно від ситуації. У жовтні Interhuman оголосить про запуск двох додаткових моделей.
Розробка моделей ШІ в Європі
Для Петку важливо, що Interhuman створює власні моделі штучного інтелекту саме в Європі:
Building an AI lab and developing your own models that could have an impact on society is quite unusual here.
Паула Петку, CEO Interhuman AI
Вона вважає, що розробка технології в умовах суворішого європейського регуляторного середовища може зрештою дати Interhuman перевагу під час виходу на інші ринки.
If we can build this technology successfully here and meet those requirements, I think we'll be well positioned to meet regulatory requirements elsewhere as well.
Паула Петку, CEO Interhuman AI
