Исследователи из Microsoft Research Asia, Пекинского университета и Сианьского университета Цзяотун разработали новую методику, заставляющую большие языковые модели, вроде GPT-4, учиться на своих ошибках, подобно тому, как учатся люди
Согласно опубликованной на этой неделе исследовательской статье, исследователи раскрыли новаторскую стратегию «Обучение на ошибках» (Learning from Mistakes, LeMa), которая обучает искусственный интеллект исправлять собственные ошибки, что приводит к улучшению способностей к рассуждению.
Они применили эту концепцию к большим языковым моделям (LLM), используя парные наборы данных с ошибкой и исправлением для точной настройки.
Сначала исследователи использовали такие языковые модели, как LaMA-2 от Meta, которые попросили генерировать ошибочные пути решения математических задач.
Затем GPT-4 обнаружил ошибки в рассуждениях, объяснил их и предоставил исправленные рассуждения.
Исследователи использовали скорректированные данные для дальнейшего обучения исходных моделей, позволяя им больше не допускать тех же ошибок.
«В пяти базовых LLM и двух задачах по математическим соображениям LeMa постоянно улучшает производительность по сравнению с тонкой настройкой только данных CoT», — объясняют исследователи, результаты этого нового подхода значительны.
Специализированные модели LLM, которые были разработаны для решения математических задач, также удалось улучшить с помощью подхода LeMa: WizardMath и MetaMath показали точность в 85,4% на задачах GSM8K, а на задачах MATH — 27,1% (GSM8K и MATH — наборы задач, на которых тестируются ИИ-модели). Эти результаты превосходят современные достижения open-source моделей.
Появление LeMa представляет собой важную веху в ИИ, которая указывает, что процессы машинного обучения можно сделать более похожими на человеческое обучение. Эта разработка может произвести революцию в секторах, зависящих от искусственного интеллекта, где исправление ошибок и непрерывное обучение имеют решающее значение. К примеру, в здравоохранении, финансах и автономных транспортных средствах.
Напомним, электромобиль с ИИ установил мировой рекорд. Студенты протестировали самосборный электрокар, под капотом не только солнечные панели, но и передовой встроенный ИИ от NVIDIA Jetson.
Ознакомьтесь с другими популярными материалами:
Как заработать на искусственном интеллекте: 5 проверенных способов
Google обеспечит правовой защитой пользователей ИИ-сервисов
Стартап ElevenLabs добавил украинский язык к своим ИИ-дубляжам
Источник: VentureBeat