Część 3: Starcie wagi ciężkiej. Biliony parametrów kontra mózg na kanapce

Christopher Keruac@CKeruac·

W poprzednich częściach analizowaliśmy architekturę „The Dragon Hatchling” (BDH) – model, który sugeruje, że sztuczna uwaga (Attention) i niektóre mechanizmy neuroplastyczności mogą mieć formalne podobieństwa matematyczne. Wczoraj jednak brutalnie zderzyliśmy te biologiczne marzenia z architekturą współczesnych kart graficznych (GPU).Dziś pora na ostateczne starcie skali. Zewsząd słyszymy, że modele AI stają się "wielkości ludzkiego mózgu". Media rzucają bilionami parametrów i miliardami neuronów.  

Ale czy na pewno rozumiemy, co te liczby oznaczają? Rozprawmy się z największym mitem sztucznej inteligencji.

1. Kłamstwo "sztucznego neuronu" Największe nieporozumienie polega na tym, że słowo "neuron" w informatyce oznacza coś zupełnie innego niż w biologii.Sztuczny neuron (w LLM / BDH): To w rzeczywistości bardzo uproszczona operacja matematyczna w sieci neuronowej. Bierze wartości z poprzedniej warstwy, mnoży je przez wagi, sumuje i przepuszcza przez funkcję aktywacji (np. ReLU). 

W porównaniu z neuronem biologicznym jest to niezwykle uproszczony model obliczeniowy.Najczęściej opisuje go wzór:y = φ( Σ (w_i * x_i) + b ) Biologiczny neuron: To bardzo złożona elektrochemiczna jednostka przetwarzania informacji. Posiada rozbudowane dendryty, które mogą lokalnie integrować sygnały. W niektórych badaniach sugeruje się, że realistyczne cyfrowe modele pojedynczego neuronu mogą wymagać znacznie bardziej złożonych struktur niż pojedynczy element sieci neuronowej.Budowa szczegółowa neuronu, połączenia i synapsa (Źródło: Wikipedia)

2. Parametry vs Synapsy: Kto jest tak naprawdę większy?Jeśli chcemy uczciwie porównać pojemność pamięci obu systemów, często zestawia się parametry AI (wagi sieci) z synapsami (połączeniami między biologicznymi neuronami).Autorzy BDH zauważają we wstępie swojej pracy, że mózg jest ekstremalnie złożonym systemem rozproszonym z rzędu około 10¹⁴ połączeń synaptycznych.Największe LLM: Szacunki dotyczące największych modeli językowych sugerują architektury rzędu setek miliardów lub nawet ponad biliona parametrów.Ludzki mózg: Posiada około 86 miliardów neuronów i szacunkowo od 100 do nawet kilkuset bilionów synaps.Wniosek: Pod względem liczby połączeń biologiczny mózg wciąż przewyższa dzisiejsze modele AI o kilka rzędów wielkości. Trzeba jednak pamiętać, że parametry modeli i synapsy biologiczne nie są bezpośrednio porównywalnymi jednostkami pamięci czy obliczeń, więc takie zestawienia mają charakter orientacyjny.

3. Przepaść energetyczna: Megawaty vs 20 Watów Przejdźmy do największego problemu współczesnego AI – zapotrzebowania na energię.Trenowanie i obsługa bardzo dużych modeli językowych wymaga ogromnych centrów danych z tysiącami procesorów i zaawansowanym systemem chłodzenia. W skali całych klastrów obliczeniowych zużycie energii liczone jest w megawatach.Tymczasem ludzki mózg podczas normalnego funkcjonowania zużywa około 20 watów energii – mniej więcej tyle co niewielka żarówka.Jak to możliwe? Jednym z powodów może być to, o czym mówiliśmy w Części 1: rzadkie kodowanie (sparse coding).W wielu współczesnych modelach Transformer duża część sieci jest aktywna podczas przetwarzania każdego tokena. Oznacza to ogromną liczbę operacji matematycznych wykonywanych przy każdym kroku generowania tekstu.Mózg działa inaczej. W wielu badaniach obserwuje się, że w danym momencie aktywna jest tylko niewielka część neuronów, a większość pozostaje nieaktywna. Architektury takie jak BDH próbują naśladować tę właściwość poprzez wymuszanie rzadkich aktywacji w sieci.Podsumowanie: Kalkulatory połączone kablamiLudzki mózg to około 86 miliardów neuronów połączonych ogromną liczbą synaps w bardzo złożonej, energooszczędnej sieci biologicznej.Dzisiejsze systemy AI składają się z ogromnych macierzy parametrów wykonywanych na wyspecjalizowanym sprzęcie obliczeniowym. Choć osiągają imponujące rezultaty, ich sposób działania i efektywność energetyczna wciąż znacząco różnią się od biologicznych systemów nerwowych.BDH sugeruje, że możliwe jest projektowanie algorytmów, które w pewnym stopniu przypominają dynamikę biologicznych sieci neuronowych. Ale nawet jeśli matematyczne podobieństwa istnieją, droga do systemów dorównujących biologicznym mózgom pod względem efektywności i elastyczności wciąż pozostaje bardzo długa.Dlaczego więc wciąż jesteśmy tak daleko od stworzenia prawdziwej ogólnej sztucznej inteligencji (AGI)?Być może dlatego, że obecne modele skupiają się głównie na przetwarzaniu symboli i tekstu, podczas gdy ludzki mózg funkcjonuje w znacznie szerszym kontekście – obejmującym ciało, percepcję, emocje i interakcję ze światem.

O tym, jaką rolę mogą odgrywać ucieleśnienie, hormony i inne biologiczne mechanizmy w inteligencji, przeczytacie jutro w Wielkim Finale!Skoro mamy środek tygodnia (tzw. "mały piątek"), to już z górki do weekendu! Mam nadzieję, że kawa smakuje dziś wyjątkowo dobrze, a wszystkie plany uda się zrealizować bez stresu :)

Want to publish your own Article?Upgrade to PremiumChristopher Keruac@CKeruacProgrammer & Founder. Synthesizing AI with Cognitive Science and Neuroscience. Exploring the intersection of Biology, Chemistry, and life sciences.