close-btn

Microsoft разработала самоучитель для ИИ: как он работает

Исследователи из Microsoft Research Asia, Пекинского университета и Сианьского университета Цзяотун разработали новую методику, заставляющую большие языковые модели, вроде GPT-4, учиться на своих ошибках, подобно тому, как учатся люди

Фото: motionarray.com

Фото: motionarray.com

Согласно опубликованной на этой неделе исследовательской статье, исследователи раскрыли новаторскую стратегию «Обучение на ошибках» (Learning from Mistakes, LeMa), которая обучает искусственный интеллект исправлять собственные ошибки, что приводит к улучшению способностей к рассуждению.

Они применили эту концепцию к большим языковым моделям (LLM), используя парные наборы данных с ошибкой и исправлением для точной настройки.

Сначала исследователи использовали такие языковые модели, как LaMA-2 от Meta, которые попросили генерировать ошибочные пути решения математических задач.

Затем GPT-4 обнаружил ошибки в рассуждениях, объяснил их и предоставил исправленные рассуждения.

Исследователи использовали скорректированные данные для дальнейшего обучения исходных моделей, позволяя им больше не допускать тех же ошибок.

«В пяти базовых LLM и двух задачах по математическим соображениям LeMa постоянно улучшает производительность по сравнению с тонкой настройкой только данных CoT», — объясняют исследователи, результаты этого нового подхода значительны.

Специализированные модели LLM, которые были разработаны для решения математических задач, также удалось улучшить с помощью подхода LeMa: WizardMath и MetaMath показали точность в 85,4% на задачах GSM8K, а на задачах MATH — 27,1% (GSM8K и MATH — наборы задач, на которых тестируются ИИ-модели). Эти результаты превосходят современные достижения open-source моделей.

Появление LeMa представляет собой важную веху в ИИ, которая указывает, что процессы машинного обучения можно сделать более похожими на человеческое обучение. Эта разработка может произвести революцию в секторах, зависящих от искусственного интеллекта, где исправление ошибок и непрерывное обучение имеют решающее значение. К примеру, в здравоохранении, финансах и автономных транспортных средствах.

Напомним, электромобиль с ИИ установил мировой рекорд. Студенты протестировали самосборный электрокар, под капотом не только солнечные панели, но и передовой встроенный ИИ от NVIDIA Jetson.

Ознакомьтесь с другими популярными материалами:

Как заработать на искусственном интеллекте: 5 проверенных способов

Google обеспечит правовой защитой пользователей ИИ-сервисов

Стартап ElevenLabs добавил украинский язык к своим ИИ-дубляжам

Источник: VentureBeat

google news
credit link image
×
Подписывайтесь на нас в Telegram и Viber!