Технологічна компанія Saturn перевірила, наскільки можна довіряти популярним чатботам у фінансових справах, і результат виявився невтішним. За даними видання FT, під час тестування моделі ChatGPT, Claude, Copilot, Grok і Gemini помилялися в середньому у 57% відповідей, а коли йшлося про завдання з кількома розрахунками одразу — аж у 88% випадків.

Такі показники змушують замислитися над тим, наскільки безпечно покладатися на генеративний ШІ у питаннях податків, пенсійних накопичень чи інвестицій, де будь-яка помилка може обернутися реальними фінансовими втратами.

Складні запити ламають ШІ у 88% випадків

У межах дослідження команда Saturn проаналізувала понад 100 різноманітних питань про фінанси, застосовуючи як безкоштовні, так і платні тарифи моделей. Загалом було задіяно 18 моделей, яким надіслали понад 10 000 запитів, причому окремі питання дублювали до п'яти разів для перевірки стабільності відповідей.

  • помилки у фінансових розрахунках
  • ігнорування майбутніх змін податкового законодавства
  • вигадані правила
  • неправильні відповіді на складні запити з кількома обчисленнями

У деяких моделей частка неправильних відповідей на складні запитання доходила до 99%. Найкраще впоралася Claude Opus 5 у режимі «міркування», однак навіть вона помилялася у 39% випадків.

Керівник Saturn Амал Джоллі звертає увагу на те, що масове використання ШІ для фінансових консультацій приховує в собі додаткові небезпеки.

Мільйони людей довіряють моделям ШІ фінансові поради, але отримують неправильні відповіді, через які можуть втратити гроші.

Амал Джоллі, генеральний директор Saturn

Ціна помилки — тисячі фунтів

Один із наведених у дослідженні прикладів стосується безкоштовної моделі Claude Haiku 4.5, яку запитали про оподаткування пенсій. Її неправильна відповідь теоретично могла призвести до того, що пенсійному вкладнику нарахували б збір HMRC на суму 17 500 фунтів стерлінгів, або приблизно $23 430.

Був і випадок, коли Claude просто вигадала неіснуюче правило щодо студентських кредитів, стверджуючи, що випускник нібито може зупинити виплати, переїхавши за кордон.

Загалом платні версії моделей давали точніші відповіді, ніж безкоштовні, а новіші версії показували кращі результати за попередників. Водночас Сара Коулз, керівниця напряму персональних фінансів інвестиційної платформи AJ Bell, наголошує, що ШІ все ж може бути корисним інструментом для складання бюджету чи пошуку загальної інформації.

Це хороший приклад того, чому людям, які потребують підтримки, потрібна професійна порада, а не довіра до ШІ.

Сара Коулз, AJ Bell

Ці висновки перегукуються з іншим дослідженням — від британського Управління з фінансового нагляду (FCA), яке виявило, що кожен п'ятий дорослий житель Великої Британії готовий довірити ШІ ухвалення фінансових рішень замість себе. Найбільшу цікавість люди виявляють саме до складних тем: боргів, пенсій та інвестицій.

Джоллі також підкреслює, що фінансові поради від ШІ поки що перебувають поза межами регулювання, тому користувачі не мають такого захисту чи можливості компенсації, як у випадку співпраці з людиною-фахівцем.

Нагадаємо, що нещодавно OpenAI запустила ChatGPT, орієнтований на потреби фінансового сектору.