Microsoft выпустила последнюю из линейки малых моделей языков с открытым исходным кодом: Phi-2. Эта передовая модель имеет всего 2,7 миллиарда параметров, но превосходит модели, которые в 25 раз больше ее по размеру
Фото: motionarray.com
Phi-2 является частью проекта Microsoft Phi — попытки исследовательской группы компании создать небольшие, но мощные языковые модели. Проект включает в себя 1.3 миллиардный параметр Phi-1, который, по словам компании, достиг самой современной производительности при кодировании на Python среди существующих малых языковых моделей, и Phi-1.5, который умеет рассуждать на основе здравого смысла и понимать язык. Последний также получил мультимодальные возможности из ноябрьского обновления.
Генеральный директор Microsoft Сатья Наделла впервые предложил взглянуть на Phi-2 на мероприятии Ignite в прошлом месяце. Теперь компания выпустила модель, а также поделилась ее техническими деталями в исследовательском блоге.
Phi-2 доступен в каталоге моделей Azure AI Studio. Он также доступен через Hugging Face. Однако Phi-2 нельзя использовать в коммерческих целях. Согласно лицензии Microsoft Research, Phi-2 можно использовать только для некоммерческих, исследовательских целей. Любая попытка использовать эти материалы в коммерческих целях будет нарушением условий лицензии.
Производительность ИИ-модели
Phi-2 больше предыдущих версий Phi, но разработан для того, чтобы быть более мощным. Она может достичь самой современной производительности, подобной моделям с менее чем 13 миллиардами параметров.
Исследователи говорят, что модель также безопаснее с точки зрения результатов по сравнению с предыдущими моделями Phi, несмотря на то, что она не проходит выравнивание с помощью обучения с подкреплением на основе обратной связи с человеком (RLHF). Microsoft утверждает, что модель демонстрирует лучшее поведение в отношении токсичности и предвзятости по сравнению с некоторыми существующими моделями.
Чтобы достичь улучшенной производительности Phi, исследователи Microsoft сосредоточились на том, что они называют «учебным качеством» данных для обучения, тщательно отбирая веб-данные и используя синтетические наборы данных для питания модели. Знания из Phi-1.5 были использованы для улучшения производительности и ускорения обучения.
Phi-2 превзошел Llama 2-7b и Mistral-7B компании Meta в различных тестах, охватывающих такие возможности, как рассуждения на основе здравого смысла. Phi-2 даже превзошел версию Llama 2 с 70 миллиардами параметров в кодировке.
«Благодаря своим компактным размерам Phi-2 является идеальной площадкой для исследователей, в том числе для изучения механистической интерпретируемости, повышения безопасности или точной настройки экспериментов над различными задачами», — отмечают в Microsoft.
Напомним, компания Microsoft заявила, что планирует внедрить своего персонального ассистента на основе искусственного интеллекта Copilot для операционной системы Windows 10.
В компании отметили, что скоро на панели задач Windows 10 появится кнопка и боковая панель Copilot из Windows 11. При нажатии на кнопку будет открываться тот же интерфейс боковой панели Copilot, что и в Windows 11.
Вас также может заинтересовать:
Windows 11 теперь позволяет извлекать текст из скринов и размывать фотофон
Windows 12 потребует подписку, а в 11 версии нашли скрытую игру
Microsoft заплатит $15 тыс. тому, кто найдет баги Bing AI
Источник: aibusiness
Telegram
Viber