To odkrycie pojawia się w idealnym momencie: AI może zużywać znacznie mniej energii

Napięcie między celami klimatycznymi a ambicjami cyfrowymi

Między dążeniami do neutralności klimatycznej a rosnącymi potrzebami technologicznymi narasta coraz poważniejszy konflikt. Podczas gdy giganci technologiczni masowo stawiają nowe centra danych, naukowcy po cichu szukają sposobów, by sztuczna inteligencja działała mądrzej i oszczędniej. Niedawny przełom w dziedzinie tzw. memrystorów oraz nowa metoda trenowania sieci mogą drastycznie obniżyć rachunek energetyczny głębokich sieci neuronowych.

Dlaczego AI staje się takim pożeraczem energii

Współczesne modele AI działają zazwyczaj na ogromnych klastrach kart graficznych GPU w energochłonnych centrach danych. Każda poprawa dokładności wymaga dodatkowych warstw, większej liczby parametrów, a co za tym idzie — więcej obliczeń. Trenowanie dużych modeli pochłania gigantyczne ilości energii elektrycznej.

W klasycznych komputerach dane nieustannie przemieszczają się między pamięcią a procesorem. Ten ciągły ruch kosztuje mnóstwo energii i wytwarza ciepło. AI potęguje ten problem, ponieważ sieci neuronowe przy każdym kroku muszą pobierać i aktualizować od milionów do miliardów wag.

Nowe modele AI osiągają imponujące wyniki, lecz ich zapotrzebowanie na energię grozi zahamowaniem zarówno innowacji, jak i realizacji polityki klimatycznej.

Naukowcy szukają więc nowych koncepcji sprzętowych, które umieszczają pamięć bliżej samego procesu obliczeniowego, ograniczając potrzebę przemieszczania danych. Tu na scenie pojawiają się memrystory.

Co sprawia, że memrystory są inne

Memrystory to komponenty elektroniczne zachowujące się jak rezystory z pamięcią. Ich przewodność zależy od historii elektrycznej — to, co zostało wcześniej zapisane, wpływa na bieżący stan elementu. Dzięki temu nadają się do przechowywania wag sieci neuronowej bezpośrednio w sprzęcie.

W matrycy memrystorowej obliczenia odbywają się lokalnie. Fizyczne właściwości materiału wykonują operacje matematyczne, zamiast szeregu instrukcji na tradycyjnym procesorze. Pozwala to ograniczyć transport danych i w teorii zużywać znacznie mniej energii.

Jest jednak pewne istotne „ale": memrystory nie są doskonałe. Wykazują szumy, zmienność między elementami i niedokładne operacje zapisu. Przy klasycznych algorytmach trenowania prowadzi to do niestabilnych modeli i gorszych wyników.

Sprzęt jest energooszczędny, lecz jego niedoskonałości niszczą dokładność — chyba że proces trenowania dostosuje się do tych ograniczeń.

Sprytny trik: eaPU zamienia błędy w atut

Na czym dokładnie polega eaPU?

Zespół badawczy z laboratorium Zhejiang w Chinach zaprezentował na łamach Nature Communications nowe podejście do trenowania: error-aware probabilistic update, w skrócie eaPU. Jego istota polega na tym, że algorytm akceptuje drobne błędy i unika zbędnych modyfikacji memrystorów.

Zamiast aktualizować wszystkie wagi przy każdej miniporcji danych — jak dzieje się to w standardowej propagacji wstecznej — sieć z eaPU modyfikuje mniej niż 0,1 procenta parametrów na krok. Fizyczny zapis w memrystorze następuje wyłącznie wtedy, gdy zmiana przekracza określoną wartość progową.

• Małe wahania pozostają niezapisane — model toleruje mikrobłędy.
• Duże odchylenia mają pierwszeństwo — tylko znaczące aktualizacje kosztują energię.
• Prawdopodobieństwo aktualizacji zależy od wielkości błędu i właściwości memrystora.

Ponieważ zapis do memrystora pochłania znacznie więcej energii niż odczyt, ta selektywność przynosi ogromne oszczędności. Co więcej, mniejsza liczba cykli zapisu oznacza mniejsze zużycie materiału.

Liczby, które robią wrażenie

Według badaczy zużycie energii w porównaniu z systemami opartymi na GPU spada o około sześć rzędów wielkości — to redukcja rzędu miliona razy.

Otwiera to scenariusz, w którym trenowanie AI nie musi już wyłącznie zależeć od megacentrów danych z potężnymi systemami chłodzenia, lecz staje się możliwe na kompaktowym, wyspecjalizowanym sprzęcie.

Od przetwarzania obrazu do modeli językowych?

Zespół przetestował eaPU na matrycy memrystorowej wykonanej w technologii 180 nanometrów, trenując sieci neuronowe do redukcji szumów obrazu i superrozdzielczości. Wyniki były zbliżone do tych uzyskiwanych konwencjonalnymi metodami cyfrowymi, przy jednocześnie znacznie niższym zużyciu energii.

Zastosowany rozmiar układu i architektura są skromne w porównaniu z infrastrukturą dużych modeli językowych. Mimo to naukowcy nie widzą fundamentalnych przeszkód, by rozszerzyć to podejście na LLM-y.

Spodziewają się, że zasada probabilistycznych aktualizacji da się zastosować do sieci z miliardami parametrów, pod warunkiem że sprzęt dorośnie skalą i niezawodnością. W kolejnych badaniach zamierzają bezpośrednio sprawdzić, jak eaPU radzi sobie z wielowarstwowymi architekturami transformerów — fundamentem nowoczesnych modeli językowych.

Nie tylko dla memrystorów

Co ciekawe, metoda nie jest ściśle powiązana z memrystorami. Koncepcja „aktualizacji probabilistycznej świadomej błędów" może działać również na innych technologiach przetwarzania w pamięci, takich jak:

• tranzystory ferroelektryczne
• magnetorezystywna pamięć RAM (MRAM)
• architektury hybrydowe łączące bloki analogowe i cyfrowe

Zwiększa to szanse, że partnerzy przemysłowi podchwycą ten pomysł — różni producenci stawiają już bowiem na takie typy pamięci w energooszczędnych układach AI.

Co to oznacza dla centrów danych i celów klimatycznych

Rosnące zapotrzebowanie AI rodzi poważne pytania o zrównoważony rozwój cyfrowego świata. Szacunki wskazują, że przy braku zmian w podstawowym sprzęcie wielkoskalowe modele mogą w nadchodzących latach pochłaniać tyle prądu, ile zużywają średniej wielkości państwa.

Milion razy mniejsze zużycie energii na krok trenowania zmienia całą rozmowę: AI nie musi być synonimem wysokiej emisji CO₂.

Jeśli techniki takie jak eaPU staną się powszechnie dostępne, centra danych będą mogły wykonywać tę samą pracę przy znacznie mniejszym zużyciu prądu. Zmniejszy to presję na operatorów sieci, ograniczy konieczność budowy nowych linii wysokiego napięcia i sprawi, że energia odnawialna stanie się bardziej wystarczająca.

W krajach europejskich, gdzie lokalny opór wobec nowych centrów danych narasta, tego rodzaju innowacje sprzętowe mogą złagodzić społeczne napięcia. Dyskusja przesunie się wtedy od pytania „czy budować centrum danych" ku pytaniu „jaką technologię zastosować wewnątrz".

Scenariusze przyszłych zastosowań

Praktyczne zastosowanie leży przede wszystkim w obszarze tzw. edge AI — modeli działających blisko użytkownika: w smartfonach, samochodach, urządzeniach medycznych czy czujnikach przemysłowych. Dzięki ekstremalnie energooszczędnemu trenowaniu i wnioskowania takie urządzenia mogą uczyć się lokalnie, zamiast przesyłać wszystko do chmury.

Samochód mógłby na przykład doskonalić swój system wspomagania jazdy na podstawie lokalnych warunków, bez ciągłego przesyłania danych. Przenośne urządzenie medyczne mogłoby analizować wzorce tętna lub poziomu glukozy przy baterii wytrzymującej wiele dni.

Dla firm przetwarzających poufne dane — szpitali czy banków — kierunek ten otwiera nowe możliwości. Mniejsza zależność od centralnych klastrów GPU oznacza, że wrażliwe dane mogą pozostać w obrębie organizacji, a algorytmy wciąż będą się doskonalić.

Ryzyka, ograniczenia i kolejne kroki

Obecne wyniki pochodzą z laboratoryjnych konfiguracji z relatywnie małymi układami. Skalowalność pozostaje wielką niewiadomą — jak zachowują się analityczne matryce, gdy miliony memrystorów działają obok siebie, przy wahaniach temperatury i błędach produkcyjnych?

Nowa architektura wymaga też dostosowanego stosu oprogramowania: bibliotek do trenowania, kompilatorów i frameworków uwzględniających probabilistyczne aktualizacje oraz szumy sprzętowe. Bez przyjaznych narzędzi rozwiązania te pozostaną domeną laboratoriów badawczych.

Mimo to sedno tej propozycji dotyka szerszego tematu w świecie AI: akceptuj niedoskonałość tam, gdzie to możliwe. Zamiast za wszelką cenę korygować błędy sprzętu, można je mądrze wykorzystać, otwierając drogę do radykalnie niższego zużycia energii. Ta zmiana sposobu myślenia może zainspirować inne obszary AI — od układów neuromorficznych po sieci neuronowe impulsowe.

Dla wszystkich, którzy wdrażają AI w produktach lub usługach, śledzenie tych odkryć jest coraz ważniejsze. Wybór sprzętu i strategii trenowania decyduje nie tylko o wydajności, lecz również o śladzie energetycznym, kosztach operacyjnych i długoterminowej skalowalności. Nowe generacje systemów AI będą prawdopodobnie oceniane nie tylko według dokładności, ale też według liczby kilowatogodzin zużytych na każdy wytrenowany parametr.