Bardzo ciekawe i daje do myślenia – polecam.

Pętla Karpathy'ego: 

Agent AI przeprowadził 700 eksperymentów w 2 dni. Czy właśnie zaczęła się era samodoskonalącej się sztucznej inteligencji?

Andrej Karpathy, znany badacz AI (jeden z pierwszych pracowników OpenAI i były szef AI w Tesli), niedawno znowu rozbił bank na X. Tym razem nie swoimi przewidywaniami, ale konkretnym eksperymentem, który pokazuje, w jakim kierunku zmierza sztuczna inteligencja.Karpathy stworzył system nazwany „autoresearch”. 

Zagonił do pracy agenta kodującego AI, by ten znalazł sposób na zoptymalizowanie treningu małego modelu językowego. Zostawił go samego na dwa dni. Efekt? Agent bez przerwy przeprowadził aż 700 różnych eksperymentów, w trakcie których odkrył 20 optymalizacji. Kiedy Karpathy zastosował te poprawki do nieco większego modelu, czas jego treningu skrócił się o 11%.Co ciekawe, Tobias Lütke (CEO Shopify), od razu przetestował ten system na wewnętrznych danych swojej firmy.

 Zostawił agenta na jedną noc. Wynik: 37 eksperymentów i 19-procentowy wzrost wydajności.Ten sukces od razu wzbudził skojarzenia rodem z powieści science fiction. Dla wielu to przedsmak "rekurencyjnego samodoskonalenia", w którym AI nieustannie optymalizuje własny kod. 

To scenariusz, którego jedni pożądają, a inni panicznie się boją, widząc w nim ryzyko nagłej "eksplozji inteligencji" i wymknięcia się maszyn spod kontroli człowieka.Karpathy uspokaja – to jeszcze nie ten etap. Jego agent poprawiał kod i ustawienia sieci neuronowej dla innego, znacznie mniejszego modelu, a nie dla samego siebie. Zaznaczył jednak, że dokładnie tak będą wkrótce prowadzić badania największe laboratoria AI.

 Jak sam to ujął: "To ostateczna walka z bossem".Zdaniem Karpathy'ego w niedalekiej przyszłości zamiast pojedynczego badacza będziemy mieli do dyspozycji "rój agentów". Będą one równolegle współpracować, testując różne ścieżki i optymalizacje, by najciekawsze pomysły przenosić na coraz większe modele. Celem nie jest naśladowanie jednego ambitnego doktoranta, ale symulowanie całej społeczności badawczej.Eksperci zdążyli już ukłuć na to termin: "Pętla Karpathy'ego" (The Karpathy Loop). 

Składa się ona z trzech elementów: agenta z dostępem do pojedynczego pliku, który może modyfikować; jednego, obiektywnego i mierzalnego celu do optymalizacji; oraz sztywnego limitu czasu na każdy eksperyment. Jak zauważa sam twórca – każdy problem spełniający te kryteria można oddać w ręce roju AI.Krytycy próbowali umniejszyć to osiągnięcie, twierdząc, że to po prostu stare metody AutoML, znane od lat z Google czy Microsoftu. 

Karpathy odpowiedział jednak stanowczo: starsze systemy AutoML (jak wyszukiwanie architektury neuronowej) opierały się na losowych wariacjach i algorytmach ewolucyjnych. Przy jego systemie są wręcz bezużyteczne.W "autoresearch" mamy do czynienia z prawdziwym modelem językowym (LLM), który samodzielnie pisze dowolny kod, analizuje wyniki poprzednich testów i wyciąga z nich wnioski, mając do dyspozycji wiedzę z internetu. 

To zupełnie inna liga.

Mentions: @karpathy @OpenAI @Tesla @Shopifyźródło: Fortune