Google оголосив про запуск нової LLM (велика мовна модель) — Gemini. Разом з цим компанія представила новий Cloud TPU v5p, оновлену версію Cloud TPU v5e, яка стала загальнодоступною на початку цього року. Блок v5p складається з 8 960 чипів і має найшвидше з’єднання, яке досягає 4800 Гбіт/с на кожен чип. Фахівці навчили Gemini працювати з цими новими спеціальними чипами
Google Cloud TPU v5p Фото: cloud.google.com
Google обіцяє, що нові чипи значно швидші, ніж TPU v4. За словами команди, v5p має вдвічі вищий показник FLOPS і втричі більший показник високошвидкісної пам’яті. Хоча це все одно, що порівнювати нову модель Gemini зі старою моделлю OpenAI GPT 3.5. Зрештою, сама компанія Google вже вийшла за рамки TPU v4.
Однак, багато в чому модулі v5e були дещо гіршими за модулі v4: лише 256 чипів v5e в одному модулі проти 4096 в модулях v4, а загальна продуктивність 16-бітних операцій з плаваючою комою 197 TFLOPs на чип v5e проти 275 для чипів v4. Для нового v5p Google обіцяє до 459 TFLOP в 16-бітних обчисленнях з плаваючою комою, що підтримується швидшим інтерконектом.
Google Cloud TPU v5p Фото: cloud.google.com
Google стверджує, що все це означає, що TPU v5p може навчати великі мовні моделі, такі як GPT3-175B, у 2,8 рази швидше, ніж TPU v4, і робити це більш економічно ефективно (TPU v5e, хоча і повільніший, насправді пропонує більшу відносну продуктивність на долар, ніж v5p).
Google Cloud TPU v5p Фото: cloud.google.com
Цікаве по темі: Amazon представила нове покоління ШІ-чипів та чат-бота Q
«На ранній стадії використання Google DeepMind і Google Research спостерігали 2-кратне прискорення робочих навантажень для навчання LLM на чипах TPU v5p порівняно з продуктивністю на нашому поколінні TPU v4, — пише Джефф Дін, головний науковий співробітник Google DeepMind і Google Research. — Надійна підтримка фреймворків ML (JAX, PyTorch, TensorFlow) та інструментів оркестрування дозволяє нам ще ефективніше масштабуватися на v5p. З 2-м поколінням SparseCores ми також бачимо значне покращення продуктивності робочих навантажень з великою кількістю вбудовувань. TPU є життєво важливими для реалізації наших наймасштабніших досліджень та інженерних розробок на таких передових моделях, як Gemini».
Google Cloud TPU v5p Фото: cloud.google.com
Новий TPU v5p ще не є загальнодоступним, тому розробникам доведеться зв’язатися зі своїм менеджером облікового запису Google, щоб потрапити до списку.
Раніше ми писали, що корпорація Google оголосила про запуск понад десятка оновлень для своїх різноманітних операційних систем, які будуть доступні не лише для смартфонів та планшетів на Android, але й для розумних годинників на базі Wear OS та телевізорів, що використовують платформу Google TV. Детальніше читайте тут.
Ознайомтеся з іншими популярними матеріалами:
Віталік Бутерін: ШІ може перевершити людину як “вищий” вид
Google оголосила найкращі програми та ігри 2023 року
Google Ukraine шукає нового директора до українського офісу: які вимоги
За матеріалами techcrunch.com.
