Міністерство цифрової трансформації України та Київстар визначилися з базовою open-source-моделлю, на якій будувататимуть національну українську LLM. Нею стала Gemma 3 від Google — багатомовна велика мовна модель із довгим контекстним вікном та розширеними можливостями адаптації
Фото: freepik.com
У відомстві підкреслюють, що ключовим завданням проєкту є попереднє навчання моделі на унікальних українських даних, які зараз збирають експерти, йдеться в пресрелізі на сайті Мінцифри.
За словами Данила Цвьока, Chief AI Officer Мінцифри та CEO WINWIN AI Center of Excellence, вибір базової архітектури робили, орієнтуючись на якість роботи моделі з українською мовою та рівень контрольованості під час навчання. Це має мінімізувати лінгвістичні та етичні ризики під час створення національної LLM.
Команда планує адаптувати Gemma під український контекст. Зокрема вдосконалять український токенайзер, що дасть змогу коректніше обробляти тексти та зменшити кількість помилок у генерації. Модель також донавчатимуть на великих масивах україномовних текстів і створять окремі бенчмарки для точного налаштування моделі в подальшому.
Цікаве по темі: Нова пошта доручила перевірку відділень штучному інтелекту
У Київстар зазначають, що Gemma забезпечує оптимальний баланс між продуктивністю та ресурсами і вже підтримує понад 140 мов, включно з українською. Модель має до 128 тисяч токенів контексту, мультимодальні можливості та кілька розмірностей — це дозволяє підбирати конфігурацію під конкретні сценарії використання.
Директор з розробки диджитал-продуктів Київстар Михайло Нестор наголошує, що серед відкритих моделей Gemma демонструє одне з найкращих співвідношень якості й обчислювальних вимог. Крім того, вона вже застосовувалась для створення українськомовних моделей Lapa LLM та MamayLM, що підтвердило її ефективність.
У Google також підтримали рішення Мінцифри та Київстар. Керівник з Customer Engineering Google Cloud у Центральній та Східній Європі Кшиштоф Казьов зазначив, що компанія й надалі сприятиме розвитку ініціативи та підтримуватиме створення української LLM.
Модель Gemma вже показала високі результати як основа для MamayLM, Lapa LLM, а також для болгарської INSAIT BgGPT. У Мінцифри очікують, що на базі Gemma вдасться створити надійну українську LLM, адаптовану до місцевих мовних особливостей і вимог державних та бізнесових сервісів.
Ознайомтеся з іншими популярними матеріалами:
Кійосакі попереджає про обвал двох секторів через ШІ
Google випустила Nano Banana Pro — оновлену модель для генерації зображень
Джефф Безос запускає новий ШІ-стартап
Telegram
Viber
