Google объявил о запуске новой LLM (большая языковая модель) — Gemini. Вместе с этим компания представила новый Cloud TPU v5p, обновленную версию Cloud TPU v5e, которая стала общедоступной в начале этого года. Блок v5p состоит из 8 960 чипов и имеет самое быстрое соединение, которое достигает 4800 Гбит/с на каждый чип. Специалисты научили Gemini работать с этими новыми специальными чипами
Google Cloud TPU v5p Фото: cloud.google.com
Google обещает, что новые чипы значительно быстрее, чем TPU v4. По словам команды, v5p имеет вдвое более высокий показатель FLOPS и втрое больший показатель высокоскоростной памяти. Хотя это все равно, что сравнивать новую модель Gemini со старой моделью OpenAI GPT 3.5. В конце концов, сама компания Google уже вышла за рамки TPU v4.
Однако, во многом модули v5e были несколько хуже модулей v4: только 256 чипов v5e в одном модуле против 4096 в модулях v4, а общая производительность 16-битных операций с плавающей запятой 197 TFLOPs на чип v5e против 275 для чипов v4. Для нового v5p Google обещает до 459 TFLOP в 16-битных вычислениях с плавающей запятой, что поддерживается более быстрым интерконнектом.
Google Cloud TPU v5p Фото: cloud.google.com
Google утверждает, что все это означает, что TPU v5p может обучать большие языковые модели, такие как GPT3-175B, в 2,8 раза быстрее, чем TPU v4, и делать это более экономически эффективно (TPU v5e, хотя и медленнее, на самом деле предлагает большую относительную производительность на доллар, чем v5p).
Google Cloud TPU v5p Фото: cloud.google.com
Интересное по теме: Amazon представила новое поколение ИИ-чипов и чат-бота Q
«На ранней стадии использования Google DeepMind и Google Research наблюдали 2-кратное ускорение рабочих нагрузок для обучения LLM на чипах TPU v5p по сравнению с производительностью на нашем поколении TPU v4, — пишет Джефф Дин, главный научный сотрудник Google DeepMind и Google Research. — Надежная поддержка фреймворков ML (JAX, PyTorch, TensorFlow) и инструментов оркестровки позволяет нам еще эффективнее масштабироваться на v5p. Со 2-м поколением SparseCores мы также видим значительное улучшение производительности рабочих нагрузок с большим количеством встраиваний. TPU являются жизненно важными для реализации наших самых масштабных исследований и инженерных разработок на таких передовых моделях, как Gemini».
Google Cloud TPU v5p Фото: cloud.google.com
Новый TPU v5p еще не является общедоступным, поэтому разработчикам придется связаться со своим менеджером учетной записи Google, чтобы попасть в список.
Ранее мы писали, что корпорация Google объявила о запуске более десятка обновлений для своих различных операционных систем, которые будут доступны не только для смартфонов и планшетов на Android, но и для умных часов на базе Wear OS и телевизоров, использующих платформу Google TV. Подробнее читайте здесь.
Ознакомьтесь с другими популярными материалами:
Виталик Бутерин: ИИ может превзойти человека как «высший» вид
Google объявила лучшие приложения и игры 2023 года
Google Ukraine ищет нового директора в украинский офис: какие требования
По материалам techcrunch.com.
