Дослідники з Microsoft Research Asia, Пекінського університету та Сіаньського університету Цзяотун розробили нову методику, що змушує великі мовні моделі, на кшталт GPT-4, вчитися на власних помилках, подібно до того, як вчаться люди
Фото: motionarray.com
Згідно з опублікованою на цьому тижні дослідницькою статтею, дослідники розкрили новаторську стратегію «Навчання на помилках» (Learning from Mistakes, LeMa), яка навчає штучний інтелект виправляти власні помилки, що призводить до покращення здібностей до міркування.
Вони застосували цю концепцію до великих мовних моделей (LLM), використовуючи парні набори даних із помилкою та виправленням для точного налаштування.
Спочатку дослідники використовували такі мовні моделі, як LaMA-2 від Meta, які попросили генерувати помилкові шляхи розв’язання математичних задач.
Потім GPT-4 виявив помилки в міркуваннях, пояснив їх і надав виправлені міркування.
Дослідники використовували скориговані дані для подальшого навчання вихідних моделей, дозволяючи їм більше не припускатися тих же помилок.
«У п’яти базових LLM і двох завданнях з математичних міркувань LeMa постійно покращує продуктивність порівняно з тонким налаштуванням лише даних CoT», — результати цього нового підходу значні, пояснюють дослідники.
Спеціалізовані моделі LLM, які були розроблені для розв’язання математичних задач, також вдалося покращити за допомогою підходу LeMa: WizardMath і MetaMath показали точність у 85,4% на завданнях GSM8K, а на завданнях MATH – 27,1% (GSM8K і MATH – набори завдань, на яких тестуються ШІ-моделі). Ці результати перевершують сучасні досягнення open-source моделей.
Поява LeMa являє собою важливу віху в ШІ, яка вказує, що процеси машинного навчання можна зробити більш схожими на людське навчання. Ця розробка може зробити революцію в секторах, що залежать від штучного інтелекту, де виправлення помилок і безперервне навчання мають вирішальне значення. До прикладу, в охороні здоров’я, фінансах і автономних транспортних засобах.
Нагадаємо, електромобіль з ШІ встановив світовий рекорд. Студенти протестували самозбірний електрокар, під капотом не лише сонячні панелі, але й передовий вбудований ШІ від NVIDIA Jetson.
Як заробити на штучному інтелекті: 5 перевірених способів
Google забезпечить правовим захистом користувачів ШІ-сервісів
Стартап ElevenLabs додав українську мову до своїх ШІ-дубляжів
Джерело: VentureBeat
Telegram
Viber