Wydajność akceleratorów AI wg MosaicML, eksperta w dziedzinie modeli językowych LLM
MosaicML to firma i zarazem platforma generatywnego AI, która umożliwia innym przedsiębiorstwom tworzenie własnych silników sztucznej inteligencji.
W czerwcu na swoim opublikowała wpis, który porównuje użycie różnych akceleratorów w zakresie gotowości ich oprogramowania do zadań związanych z trenowaniem modeli LLM. Teraz opublikowano kolejny, który rozszerza te informacje o porównania wydajnościowe akceleratorów. Wg testów MosaicML rozwiązania AMD Instinct MI250X oferują bardzo zbliżoną wydajność w swojej klasie i firma ma analogiczne prognozy wobec nadchodzących AMD Instinct MI300X.
Blogi te dowodzą, że ekosystem rozwiązań AMD dla systemów AI jest w pełni ukształtowany i gotowy do tworzenia systemów sztucznej inteligencji oferując przy tym odpowiednią wydajności. Testy przeprowadzono zarówno na maszynie z 4 akceleratorami MI250, jak i na klastrze wyposażonym w 128 sztuki, potwierdzając niemal liniowe skalowanie wydajności w modelach LLM. Jednocześnie najnowsza wersja oprogramowania AMD ROCm 5.7 przynosi dodatkowy wzrost i ułatwienia dla programistów, a MosaicML na swoim blogu podkreśla, że przestawienie się na ekosystem AMD jest w tej dziedzinie łatwe i bezproblemowe.
Potwierdzeniem słów MosaicML są takie firmy, jak Lamini używająca akceleratorów MI210 i MI250 do doskonalenia i wdrażania specjalnych modeli językowych LLM. Z kolei Moreh było w stanie wytrenować model językowy z 221 miliardem parametrów za pomocą platformy z 1200 układami MI250. Otwarte modele LLM, jak AI2’s OLMo także są trenowane przy wykorzystaniu dużych klastrów z akceleratorami AMD.
Najnowsza wersja AMD ROCm 5.7 ponadto umożliwia korzystanie z funkcji uczenia maszynowego za pomocą PyTorch na układach graficznych stworzonych w oparciu o architekturę AMD RDNA 3. To oznacza, że użytkownicy pracujący z rozmaitymi modelami uczącymi mogą testować te funkcje na łatwo dostępnych kartach graficznych AMD Radeon RX 7900 XTX czy AMD Radeon PRO W7900, które oferują 192 wyspecjalizowane w AI jednostki obliczeniowe.
foto. AMD
