Один із суперкомп'ютерів Google, побудований на базі тензорних процесорів.
Швидка підготовка моделей машинного навчання критично необхідна скрізь, де використовуються ці моделі. Для Google це, зокрема, робота ключових сервісів - пошукової системи і перекладача.
Представлений у 2018 році тест для визначення потужності систем штучного інтелекту MLPerf (розроблений, до речі, не без участі Google) поставив гуглівський суперкомп'ютер на базі останньої моделі чіпа Tensor Processing Unit (TPU) на вершину рейтингу продуктивності в шести з восьми тестів.
Моделі реалізовані на базі програмної бібліотеки TensorFlow, JIT-компілятора JAX і фреймворка Lingvo.
Чотири з восьми моделей були навчені з нуля менш ніж за 30 секунд. Для порівняння: у 2015 році на це йшло більше трьох тижнів. Таким чином, швидкість навчання зросла за п'ять років більш ніж на п'ять порядків. Перемога в тестах.
Так які завдання помітно швидше виконуються Google TPU, згідно тестів MLPerf? Чого навчався суперкомп'ютер?
- DLRM - система ранжування і рекомендацій, широко використовується в онлайн-бізнесі.
- Архітектура нейромережі Transformer стала основою хвилі досягнень в області обробки природної мови, на ній заснована і наступна система, BERT.
- Саме BERT, за словами представників Google, забезпечив найпомітніший прорив в якості пошуку в останню п'ятирічку.
- ResNet-50 - широко використовувана модель для класифікації зображень.
- SSD - модель розпізнавання об'єктів, може використовуватися навіть на мобільних пристроях.
- Mask R-CNN - модель сегментації зображень, яка потрібна в автономній навігації, медичній візуалізації та інших областях.
Комп'ютер-чемпіон Google, який так добре показав себе в тестах, вчетверо більше, ніж хмарний модуль TPU v3, який встановив три рекорди в попередньому змаганні.
Система побудована на 4096 чіпах TPU v3 і сотні процесорних хост-машин. Загалом ця система дає понад 430 Пфлопс пікової продуктивності.
Зрозуміло, Google на цьому не зупиняється. Анонсований, поки без подробиць, вихід нового чіпа - TPU v4, більш ніж в два рази більш продуктивного, ніж v3.