Microsoft випустила останню з лінійки малих моделей мов з відкритим вихідним кодом: Phi-2. Ця передова модель має лише 2,7 мільярда параметрів, але перевершує моделі, що у 25 разів більші за неї за розміром
Фото: motionarray.com
Phi-2 є частиною проєкту Microsoft Phi – спроби дослідницької групи компанії створити невеликі, але потужні мовні моделі. Проєкт включає в себе 1.3 мільярдний параметр Phi-1, який, за словами компанії, досяг найсучаснішої продуктивності при кодуванні на Python серед існуючих малих мовних моделей, і Phi-1.5, який вміє міркувати на основі здорового глузду і розуміти мову. Останній також отримав мультимодальні можливості з листопадового оновлення.
Генеральний директор Microsoft Сатья Наделла вперше запропонував поглянути на Phi-2 на заході Ignite минулого місяця. Тепер компанія випустила модель, а також поділилася її технічними деталями в дослідницькому блозі.
Phi-2 доступний у каталозі моделей Azure AI Studio. Він також доступний через Hugging Face. Однак Phi-2 не можна використовувати в комерційних цілях. Згідно з ліцензією Microsoft Research, Phi-2 можна використовувати лише для некомерційних, дослідницьких цілей. Будь-яка спроба використовувати ці матеріали з комерційною метою буде порушенням умов ліцензії.
Продуктивність ШІ-моделі
Phi-2 більший за попередні версії Phi, але розроблений для того, щоб бути більш потужним. Вона може досягти найсучаснішої продуктивності, подібної до моделей з менш ніж 13 мільярдами параметрів.
Дослідники кажуть, що модель також безпечніша з точки зору результатів у порівнянні з попередніми моделями Phi, незважаючи на те, що вона не проходить вирівнювання за допомогою навчання з підкріпленням на основі зворотного зв’язку з людиною (RLHF). Microsoft стверджує, що модель демонструє кращу поведінку щодо токсичності та упередженості порівняно з деякими існуючими моделями.
Щоб досягти покращеної продуктивності Phi, дослідники Microsoft зосередилися на тому, що вони називають “підручниковою якістю” даних для навчання, ретельно відбираючи вебдані та використовуючи синтетичні набори даних для живлення моделі. Знання з Phi-1.5 були використані для покращення продуктивності та прискорення навчання.
Phi-2 перевершив Llama 2-7b і Mistral-7B компанії Meta в різних тестах, що охоплюють такі можливості, як міркування на основі здорового глузду. Phi-2 навіть перевершив версію Llama 2 з 70 мільярдами параметрів у кодуванні.
“Завдяки своїм компактним розмірам Phi-2 є ідеальним майданчиком для дослідників, в тому числі для вивчення механістичної інтерпретованості, підвищення безпеки або точного налаштування експериментів над різноманітними завданнями”, – зазначають у Microsoft.
Нагадаємо, компанія Microsoft заявила, що планує впровадити свого персонального асистента на основі штучного інтелекту Copilot для операційної системи Windows 10.
У компанії зазначили, що скоро на панелі завдань Windows 10 зʼявиться кнопка і бічна панель Copilot з Windows 11. Під час натискання на кнопку відкриватиметься той самий інтерфейс бічної панелі Copilot, що і у Windows 11.
Вас також може зацікавити:
Windows 11 тепер дозволяє витягувати текст зі скринів та розмивати фотофон
Windows 12 вимагатиме підписку, а в 11 версії знайшли приховану гру
Microsoft заплатить $15 тис. тому, хто знайде баги Bing AI
Джерело: aibusiness
