AMD wyjaśnia czym są DPU i AI NIC

Już za tydzień rozpocznie się Advancing AI, czyli flagowa konferencja AMD poświęcona planom rozwoju, nowościom i rozwiązaniom dla sztucznej inteligencji. Skróty takie jak CPU, GPU, APU czy NPU są już dobrze znane entuzjastom technologii, więc warto zwrócić uwagę na dwa kolejne, które coraz częściej pojawiają się wśród informacji o nowoczesnych systemach komputerowych: DPU i AI NIC. W miarę jak modele stają się większe, a klastry obliczeniowe obejmują setki lub tysiące akceleratorów, sam wzrost wydajności CPU i GPU przestaje wystarczać – równie ważne staje się efektywne zarządzanie ruchem danych w całej infrastrukturze. To właśnie w tym obszarze kluczową rolę odgrywają DPU i AI NIC, stanowiąc fundament nowoczesnych środowisk AI.



DPU (Data Processing Unit) - to wyspecjalizowany układ, który przejmuje od procesora zadania związane z obsługą sieci, pamięci masowej, bezpieczeństwa, szyfrowania czy monitorowania wydajności, dzięki czemu CPU może skoncentrować się na aplikacjach, a GPU na obliczeniach AI. Co ciekawe, DPU nie tylko zwiększa wydajność, ale również daje operatorom centrów danych większą elastyczność w dostosowywaniu infrastruktury do nowych wymagań sieciowych bez konieczności wymiany całego sprzętu. Układy te są dziś wdrażane nie tylko w serwerach, ale także w inteligentnych switchach sieciowych, gdzie pomagają odciążać procesory i poprawiać skalowalność środowisk chmurowych oraz AI. W praktyce oznacza to, że choć najwięcej uwagi skupiają CPU i GPU, to coraz większą część pracy wykonują także DPU.

Z kolei AI NIC (Network Interface Card) - jest odpowiedzią na wyzwania związane z komunikacją pomiędzy dużymi klastrami GPU. Współczesne modele AI wymagają nieustannej wymiany ogromnych ilości danych pomiędzy akceleratorami, a nawet niewielkie opóźnienia mogą znacząco wpływać na wydajność całego systemu. AI NIC zostały zaprojektowane tak, aby ograniczać przeciążenia sieci, minimalizować utratę pakietów i inteligentnie kierować ruchem danych, utrzymując wysoką przepustowość i niskie opóźnienia. Rozwiązania tej klasy wykorzystują mechanizmy takie jak omijanie zatłoczonych ścieżek transmisji, selektywne retransmisje danych czy wielościeżkowe przesyłanie pakietów. Dzięki temu AI NIC stają się dla klastrów GPU tym, czym GPU są dla AI – wyspecjalizowanym akceleratorem łączności, bez którego nie byłby możliwy tak dynamiczny rozwój systemów sztucznej inteligencji.