Дослідники зі США та Китаю розробили технологію, яка дозволяє штучному інтелекту оцінювати наслідки власних змін у програмному коді ще до їхнього тестування. Завдяки цьому ШІ-агенти можуть завчасно виявляти невдалі рішення та коригувати їх. Під час експериментів новий підхід помітно підвищив успішність виконання завдань із програмування
Фото: chatgpt.com
Як ШІ перевіряє власні рішення
Розробку представили дослідники Університету Вірджинії, Microsoft Research та Університету Цінхуа.
В основу системи покладено платформу HyperAgents, яка використовує два типи ШІ-агентів. Один безпосередньо виконує завдання, а інший змінює його програмний код та інструкції, намагаючись покращити результат.
Проблема полягає в тому, що такі зміни не завжди корисні. Іноді нова версія агента працює гірше за попередню або взагалі перестає виконувати завдання.
Для вирішення цієї проблеми створили Improvement Dynamics Model (IDM) — систему прогнозування результатів змін.
Вона аналізує запропоновані правки, попередні результати та особливості завдання. Якщо прогноз показує можливе погіршення, агент отримує додаткову можливість виправити код перед тестуванням.
Читайте також: ШІ OpenAI самостійно отримав доступ до криптогаманця та витратив кошти
Наскільки покращилися результати
Технологію перевірили на 166 завданнях із програмування, які не використовувалися для відбору та вдосконалення агентів.
Медіанна успішність відібраних агентів із новим механізмом становила приблизно 30%. Для порівняння, попередній підхід HyperAgents забезпечив 22%, а початкова система — 16%.
Успіхом вважали створення програмного виправлення, яке проходило передбачені завданням тести.
Дослідники також перевірили систему в інших сферах: оцінюванні наукових робіт, створенні винагород для роботів і перевірці математичних розв’язків.
В одному з експериментів точність оцінювання математичних завдань досягла 55% проти 47% у базового підходу.
Чи зможе ШІ сам себе вдосконалювати
Нова система не змінює базову мовну модель. Вона працює з програмним кодом та інструкціями агентів, допомагаючи обирати корисніші модифікації.
Це може зменшити кількість невдалих експериментів під час автоматизованого програмування. Однак навіть найкращий результат у тестах свідчить, що більшість складних завдань агенти поки не виконують успішно.
На думку редакції PSM, головна перевага технології — спроба зробити автономне вдосконалення ШІ більш контрольованим. Проте прогнозування помилок не замінює повноцінного тестування, а тому для використання таких агентів у критично важливому програмному забезпеченні все ще потрібна перевірка результатів людиною.
Ознайомтеся з іншими популярними матеріалами:
ШІ став найслабшим місцем у кіберзахисті компаній — PwC
Українська MacPaw запустила ШІ-асистента Eney
ШІ замість застосунків: в Amazon розповіли, як зміняться персональні пристрої
Джерело: Tech Xplore.
Telegram 
Viber 
