Cerebras представила гигантский процессор WSE-3 c 900 тыс. ядер

Американская компания Cerebras Systems представила массивный процессор WSE-3 для машинного обучения и других ресурсоемких задач.

Новый процессор занимает площадь 46 225 мм2, производится по 5-нм техпроцессу TSMC, имеет 4 триллиона транзисторов, 900 000 ядер и 44 ГБ встроенной памяти SRAM; производительность при выполнении операций FP16 заявлена на уровне 125 Пфлопс.

WSE-3 лежит в основе новой вычислительной платформы Cellebras CS-3, которая, по утверждению компании, обеспечивает вдвое большую производительность, чем предыдущая платформа CS-2, при том же энергопотреблении в 23 кВт. По сравнению с ускорителем H100 от Nvidia, платформа Cerebrаs CS-3 на базе WSE-3 физически в 57 раз больше и примерно в 62 раза быстрее для операций FP16. Однако, учитывая размеры и энергопотребление Celebrus CS-3, справедливее было бы сравнить ее с платформой Nvidia DGX с 16 ускорителями H100. Но даже в этом случае CS-3 примерно в четыре раза быстрее своих конкурентов, когда речь идет об операциях FP16.

Одно из главных преимуществ системы Cerebras — пропускная способность. Благодаря 44 Гбайт набортной SRAM в каждом WSE-3, пропускная способность новейшей системы Cerebra CS-3 составляет 21 Пбайт/с. Для сравнения, пропускная способность Nvidia H100 с памятью HBM3 составляет 3,9 Тбайт/с. Однако это не означает, что система Cerebras быстрее конкурирующих решений во всех сценариях использования. Ее производительность зависит от коэффициента «разреженности» вычислений. То же решение Nvidia, использующее «разреженные» операции, выполняет в два раза больше операций с плавающей запятой». Cerebras же заявляет об улучшении примерно в 8 раз. Это означает, что новая система Cerebrаs CS-3 немного медленнее, чем пара серверов Nvidia DGX H16 с тем же энергопотреблением и занимаемой площадью при выполнении более интенсивных операций FP100, обеспечивая производительность около 15,8 Пфлопс по сравнению с 15,15 Пфлопс от Nvidia (производительность ускорителя H16 — 100 Тфлопс).

Ранее стало известно, что в 2024 году появится новый механизм борьбы с атаками через QR-код. Подробнее об этом читайте в материале IT INFO MEDIA.