Google активно працює над розвитком як програмного забезпечення, так і апаратної частини цієї технології. Нещодавно компанія оголосила про створення нових спеціалізованих процесорів та розробку інноваційного “гіперкомп’ютера”, призначеного для штучного інтелекту нового покоління
Фото: motionarray.com
Нові чіпи мають назву Cloud TPU v5p – це найпотужніший і найефективніший TPU (Cloud Tensor Processing Unit) від Google. Кожен блок TPU v5p складається з 8 960 чипів, поєднаних між собою за допомогою високошвидкісного міжчипового з’єднання з удвічі вищою пропускною здатністю в 4800 гігабітів за секунду на кожен чип. Це забезпечує високу швидкість передачі даних і оптимальну продуктивність. Google не збирається зупинятися на досягнутому й заявляє, що цифри стрибка майбутніх поколінь нас вразять.
У порівнянні з TPU v4, нещодавно випущений v5p має вдвічі більшу кількість FLOPS і втричі більшу пропускну здатність оперативної пам’яті.
Коли справа доходить до навчання моделей, TPU v5p демонструє стрибок у швидкості навчання LLM у 2,8 раза.
Google також створив простір, щоб вичавити більше обчислювальної потужності, оскільки TPU v5p “у 4 рази більш масштабований, ніж TPU v4 з точки зору загальної кількості доступних FLOPs на модуль”.
Google описує свою нову розробку як “гіперкомп’ютер ШІ”, який являє собою комплекс компонентів, спроєктованих для взаємодії та обробки сучасних завдань штучного інтелекту. Вони інтегрували системи, які оптимізовані для високої обчислювальної продуктивності та ефективного зберігання даних, доповнені рідинним охолодженням. Ця комбінація дозволяє їм досягти максимальної продуктивності. Це, скоріш за все, належить до високопотужних серверів, розроблених з використанням останніх інновацій у цій області.
Працює все на відповідному програмному забезпеченні, яке гарантує “найкращу продуктивність” для обладнання. Ось короткий огляд нещодавно доданих програмних ресурсів у гіперкомп’ютері штучного інтелекту:
- Широка підтримка популярних фреймворків ML, таких як JAX, TensorFlow і PyTorch, доступна прямо з коробки. І JAX, і PyTorch працюють на основі компілятора OpenXLA для побудови складних мовних моделей. XLA слугує фундаментальною основою, що дозволяє створювати складні багатошарові моделі (навчання Llama 2 та виведення на хмарних TPU за допомогою PyTorch/XLA). Він оптимізує розподілені архітектури на широкому спектрі апаратних платформ, забезпечуючи просту у використанні та ефективну розробку моделей для різноманітних випадків застосування ШІ (AssemblyAI використовує JAX/XLA та Cloud TPU для великомасштабного мовлення ШІ).
- Відкрите та унікальне програмне забезпечення Multislice Training та Multihost Inferencing, відповідно, робить масштабування, навчання та обслуговування робочих навантажень простими та легкими. Розробники можуть масштабувати до десятків тисяч чипів для підтримки високих робочих навантажень ШІ.
- Глибока інтеграція з Google Kubernetes Engine (GKE) та Google Compute Engine забезпечує ефективне управління ресурсами, узгодженість операційних середовищ, автоматичне масштабування, автоматичне резервування пулів вузлів, автоматичну контрольну точку, автоматичне відновлення та своєчасне відновлення після збоїв.
Революційний підхід Google до штучного інтелекту цілком очевидний завдяки новому набору апаратних і програмних елементів, які готові зламати бар’єри, що обмежують галузь. Буде цікаво подивитися, як нові обчислювальні блоки Cloud TPU v5p у поєднанні з гіперкомп’ютером AI допоможуть у поточних розробках, але одне можна сказати напевно: вони, безсумнівно, посилять конкуренцію.
Наразі складно оцінити, наскільки реальні характеристики, заявлені Google, відповідатимуть їх фактичній ефективності. Процесори, які використовує Google у своїх смартфонах, зазвичай не дотягують до технічного рівня, який пропонують Qualcomm і Apple, хоча чіпи Tensor позиціонуються як спеціально створені для роботи з штучним інтелектом. На сьогодні NVIDIA вважається світовим лідером у виробництві мікросхем для штучного інтелекту. Крім того, компанії як Microsoft з її Maia 100 AI Accelerator та Amazon з Trainium2 також активно розробляють власні рішення у цій галузі.
Ознайомтеся з іншими популярними матеріалами:
Віталік Бутерін: ШІ може перевершити людину як “вищий” вид
Google оголосила найкращі програми та ігри 2023 року
Google Ukraine шукає нового директора до українського офісу: які вимоги
Джерело: Wccftech
