Część 1: "The Dragon Hatchling" – Brakujące ogniwo między AI a ludzkim mózgiem?
Christopher Keruac @CKeruac ·
Dokument „The Dragon Hatchling: The Missing Link Between the Transformer and Models of the Brain” (BDH) prezentuje architekturę, która rzuca wyzwanie dominacji klasycznych modeli językowych. Autorzy wprost piszą, że ich celem było stworzenie „brakującego ogniwa między modelem Transformer a biologicznymi modelami mózgu”. https://arxiv.org/abs/2509.26507
W przeciwieństwie do standardowych Transformerów (jak GPT), które zapamiętują kontekst w wielkiej, nienaturalnej pamięci podręcznej (KV-cache), BDH modeluje wnioskowanie jako rozproszoną dynamikę grafu. Jak twierdzą twórcy: "Z BDH pokazujemy, że modele językowe mogą poddawać się interpretacji opartej na cząsteczkach [neuronach]". Oto 6 fundamentów tej architektury, sugerujących, że inżynieria AI może matematycznie zbiegać się z niektórymi mechanizmami neurobiologicznymi:
1. Pamięć robocza jako plastyczność synaptyczna W klasycznych modelach LLM kontekst (np. Twój prompt) jest trzymany jako idealna kopia w pamięci. Mózg tak nie działa. Podejście BDH: Autorzy piszą wprost: "Pamięć robocza BDH podczas inferencji całkowicie opiera się na plastyczności synaptycznej z wykorzystaniem uczenia Hebbowskiego za pomocą neuronów impulsowych". Kontekst to nie tekst, to chwilowe wzmocnienie siły połączeń (synaps) między konkretnymi neuronami. Biologia: Jest to zgodne z jedną z głównych hipotez dotyczących działania pamięci roboczej. Informacje mogą być utrzymywane przez tymczasowe, dynamiczne łączenie pojęć, operujące w skali minut lub godzin.
2. Uczenie Hebbowskie jako podstawa rozumowania Architektura BDH aktualizuje "szybkie wagi" synaptyczne wykorzystując regułę Hebba ("neurons that fire together, wire together"). Gdy dwa neurony w modelu BDH są aktywne w krótkim odstępie czasu, siła połączenia między nimi rośnie. Zbieżność z AI: Ten prosty, lokalny mechanizm może w pewnych warunkach prowadzić do dynamiki podobnej do mechanizmów Attention (uwagi) z Transformerów. Badacze wysnuli z tego potężny wniosek: "Te mechanizmy uwagi formalnie zbiegają się jako zamknięte w formie lokalne dynamiki grafu na neuronach i synapsach: 'równania rozumowania' (the equations of reasoning)".
3. Ekstremalnie rzadkie aktywacje (Leniwy mózg) Podejście BDH: "Wektory aktywacji BDH są rzadkie i dodatnie" – czytamy w abstrakcie. W wielu konfiguracjach aktywna jest tylko niewielka część neuronów (np. kilka procent) dzięki wymuszeniu wartości przez bramki ReLU. Biologia: Twórcy zauważają w konkluzjach: "Mózg generalnie stara się być leniwy pod względem wydatków energetycznych i robi rzeczy tak późno, jak to możliwe". Gęste aktywacje doprowadziłyby mózg do "przegrzania" i napadów padaczkowych. BDH naśladuje to – wyższa aktywność neuronów pojawia się tylko przy "zaskoczeniu", a znane wzorce sieć przetwarza w trybie drastycznego oszczędzania energii.
4. Obwody pobudzające i hamujące (Excitatory / Inhibitory Circuits) Podejście BDH: Autorzy zbudowali architekturę tak, że "zawiera ona n neuronów, zorganizowanych jako obwód pobudzający i obwód hamujący z progowaniem typu całkuj-i-generuj (integrate-and-fire) sygnałów wejściowych na neuronach". Biologia: Konkurujące sygnały sumują się na neuronie. Jeśli pobudzenie przewyższa hamowanie, neuron wysyła "impuls". To bezpośrednie matematyczne odwzorowanie działania neuroprzekaźników (np. pobudzającego glutaminianu vs hamującego (GABA) w korze nowej.
5. Bezskalowa topologia (Scale-free Topology) W klasycznych sieciach neuronowych często używa się gęstych macierzy wag. Podejście BDH: W trakcie treningu sztucznej sieci wyłania się ukryta struktura. Artykuł stwierdza: "Sieć interakcji neuronów BDH jest grafem o wysokiej modularności z rozkładem potęgowym (heavy-tailed degree distribution)". Powstają skupiska gęsto połączonych neuronów i rzadkie autostrady między nimi. Biologia: To klasyczna topologia "małego świata" ludzkiego mózgu. Pozwala na ultrakrótki czas przesyłania informacji między bardzo odległymi rejonami przy minimalnej ilości „okablowania” (aksonów).
6. Monosemantyczność (Pojedyncze synapsy reprezentujące pojęcia) To jedno z najbardziej spektakularnych odkryć w pracy. Podejście BDH: "Potwierdzamy empirycznie, że specyficzne, pojedyncze synapsy wzmacniają połączenie, gdy tylko BDH usłyszy lub rozumuje o specyficznej koncepcji". Autorzy zidentyfikowali konkretne miejsca w macierzy – np. „synapsę walutową” (reagującą na dolary, funty, niezależnie od języka promptu). Biologia: Może to przypominać biologiczną koncepcję tzw. neuronów koncepcyjnych (np. słynny neuron Jennifer Aniston odkryty u pacjentów), gdzie wyspecjalizowane obwody reagują na abstrakcyjne koncepcje.
Podsumowanie: Jak mózg pisze swój własny kod? Z pracy wyłania się fascynujący obraz: sztuczna uwaga (Attention) z Transformerów może mieć formalne podobieństwa do mechanizmów neuroplastyczności. Mózg realizuje rozumowanie (ciągi logiczne) na żywo, operując w pamięci roboczej na szybkich zmianach synaps. Dopiero w dłuższej perspektywie czasowej te zmiany są "wypalane" w stałej strukturze sieci. BDH pokazuje, że LLM nie musi być nieprzeniknioną czarną skrzynką gęstej algebry – "wyjaśnia jeden z możliwych mechanizmów, których ludzkie neurony mogłyby użyć do osiągnięcia mowy". Co z tego wynika dla inżynierii i rozwoju sztucznej inteligencji? Skoro BDH jest tak wspaniały i "biologiczny", to dlaczego nie wyprze od razu ChatGPT?
O tym, gdzie to piękne zestawienie zderza się ze ścianą brutalnej fizyki i GPU, przeczytacie już jutro w Części 2!
Want to publish your own Article? Upgrade to Premium Show 2 replies Christopher Keruac @CKeruac Programmer & Founder. Synthesizing AI with Cognitive Science and Neuroscience. Exploring the intersection of Biology, Chemistry, and life sciences.