Wydajność akceleratorów AI wg MosaicML, eksperta w dziedzinie modeli językowych LLM

W czerwcu na swoim opublikowała wpis, który porównuje użycie różnych akceleratorów w zakresie gotowości ich oprogramowania do zadań związanych z trenowaniem modeli LLM. Teraz opublikowano kolejny, który rozszerza te informacje o porównania wydajnościowe akceleratorów. Wg testów MosaicML rozwiązania AMD Instinct MI250X oferują bardzo zbliżoną wydajność w swojej klasie i firma ma analogiczne prognozy wobec nadchodzących AMD Instinct MI300X.

Blogi te dowodzą, że ekosystem rozwiązań AMD dla systemów AI jest w pełni ukształtowany i gotowy do tworzenia systemów sztucznej inteligencji oferując przy tym odpowiednią wydajności. Testy przeprowadzono zarówno na maszynie z 4 akceleratorami MI250, jak i na klastrze wyposażonym w 128 sztuki, potwierdzając niemal liniowe skalowanie wydajności w modelach LLM. Jednocześnie najnowsza wersja oprogramowania AMD ROCm 5.7 przynosi dodatkowy wzrost i ułatwienia dla programistów, a MosaicML na swoim blogu podkreśla, że przestawienie się na ekosystem AMD jest w tej dziedzinie łatwe i bezproblemowe.

Najnowsza wersja AMD ROCm 5.7 ponadto umożliwia korzystanie z funkcji uczenia maszynowego za pomocą PyTorch na układach graficznych stworzonych w oparciu o architekturę AMD RDNA 3. To oznacza, że użytkownicy pracujący z rozmaitymi modelami uczącymi mogą testować te funkcje na łatwo dostępnych kartach graficznych AMD Radeon RX 7900 XTX czy AMD Radeon PRO W7900, które oferują 192 wyspecjalizowane w AI jednostki obliczeniowe.