Duże modele językowe potrafią dziś imponująco rozumować, pisać kod czy analizować dokumenty. Jest jednak coś, w czym radzą sobie zaskakująco nieefektywnie: pamiętanie prostych, powtarzalnych informacji. DeepSeek Engram pokazuje rozwiązanie tego problemu.
W artykule
Problem, o którym rzadko się mówi
Dzisiejsze modele – oparte na architekturze transformera – mają natywnej operacji lookup, czyli szybkiego sprawdzenia: „czy ja to już znam?” Każde słowo, każda fraza, nawet najbardziej oczywista, musi zostać „odtworzona” przez kolejne warstwy obliczeń.
Dla człowieka to absurd. Kiedy słyszysz „Aleksander Wielki”, nie analizujesz liter, kontekstu historycznego i semantyki od zera. Po prostu wiesz, kim on był. Model językowy tego luksusu nie ma.
Zespół DeepSeek w nowej pracy naukowej proponuje rozwiązanie tego problemu. Nazywa się Engram i wprowadza do architektury modeli językowych coś, czego dotąd im brakowało: prawdziwy, wewnętrzny mechanizm pamięci.
To oznacza ogromne marnowanie mocy obliczeniowej – szczególnie przy treściach, które są stałe, lokalne i powtarzalne.
Przeczytaj także: Czym jest humanistyczna superinteligencja? Nowa wizja AI
Jedno zadanie, a właściwie dwa różne
Engram nie jest kolejną techniką promptowania, nie jest agentem ani zewnętrznym systemem. To próba zmiany samej struktury LLM-ów poprzez dodanie mechanizmu, który do tej pory po prostu nie istniał.
Najważniejsza obserwacja zespołu DeepSeek jest prosta, ale konsekwentna: modelowanie języka to w rzeczywistości dwa różne zadania:
- Pierwsze to dynamiczne rozumowanie – logika, matematyka, planowanie, kod, tu obliczenia są niezbędne.
- Drugie to statyczne przywoływanie wzorców – nazwy własne, idiomy, konstrukcje gramatyczne, fragmenty kodu czy lokalne zależności.
Engram proponuje rozdzielenie ról, których zazwyczaj się nie rozdziela.
Czym właściwie jest Engram?
Engram to moduł pamięci wbudowany bezpośrednio w model, a nie zewnętrzna baza danych czy RAG. Działa szybko, deterministycznie i niezależnie od długości kontekstu.
W dużym uproszczeniu:
- model patrzy na krótkie fragmenty tekstu (np. 2–3 tokeny),
- zamienia je w „klucz”,
- sprawdza w ogromnej tabeli pamięci, czy taki wzorzec już zna,
- jeśli tak – pobiera gotową reprezentację i dodaje ją do dalszego przetwarzania.
Nie ma przeszukiwania kontekstu, ani kosztownych obliczeń. Jest szybki dostęp do wiedzy, która już została wcześniej „zapamiętana”.
Dlaczego to nie psuje odpowiedzi?
Pamięć bywa zdradliwa. Co jeśli model przypomni sobie coś, co nie pasuje do kontekstu?
Tu pojawia się jeden z najważniejszych elementów Engramu: bramkowanie kontekstowe.
Model za każdym razem ocenia, czy dana „pamięć” pasuje do aktualnej sytuacji. Jeśli nie – jest tłumiona niemal do zera.
Dzięki temu Engram nie narzuca faktów na siłę i nie psuje rozumowania. Natomiast działa jako wsparcie, a nie skrót myślowy.
Poprawa jakości rozumowania
Intuicyjnie można by sądzić, że pamięć pomoże głównie w faktach. Tymczasem największe zyski w testach pojawiają się… w zadaniach logicznych, matematycznych i programistycznych.
Dlaczego? Bo Engram odciąża wczesne warstwy modelu z prostych, lokalnych rekonstrukcji. Dzięki temu model szybciej „dochodzi” do stanu, w którym może faktycznie myśleć.
W praktyce model zachowuje się tak, jakby był głębszy. Ma więcej „miejsca” na rozumowanie i szybciej osiąga sensowne reprezentacje. Nie dlatego, że dostał więcej wiedzy, ale dlatego, że przestał marnować energię na rzeczy oczywiste.
Przeczytaj także: Czym jest bańka AI i czy naprawdę nam zagraża?
Nowy wymiar skalowania modeli
Engram wprowadza nową oś skalowania obok popularnych dziś modeli Mixture of Experts (MoE). Zamiast wybierać tylko „ile liczyć”, pojawia się pytanie: „ile pamiętać”.
Eksperymenty pokazują, że najlepsze efekty dają modele, w których: około 20–25% „rzadkich parametrów” trafia do pamięci. Reszta to obliczenia.
To sugeruje, że przyszłość dużych modeli nie polega wyłącznie na większej mocy GPU, ale na lepszym podziale pracy między pamięć a myślenie.
Znaczenie systemowe, nie tylko akademickie
Engram ma jeszcze jedną ogromną zaletę: deterministyczność. To oznacza, że pamięć można:
- trzymać poza GPU,
- ładować asynchronicznie,
- nawet przechowywać na CPU lub dyskach.
DeepSeek pokazuje, że setki miliardów parametrów pamięci mogą działać z minimalnym narzutem wydajności. To realnie zmienia sposób myślenia o kosztach i infrastrukturze AI.
Dlaczego to ważne w szerszym kontekście?
Engram sugeruje, że duże modele AI nie powinny być tylko „maszynami do liczenia kolejnych tokenów”. Powinny myśleć tam, gdzie trzeba i pamiętać tam, gdzie się da.
To przesunięcie architektoniczne może być równie istotne MoE kilka lat temu. Nie jako trik optymalizacyjny, ale jako fundamentalna zmiana w tym, czym jest model językowy.
Transformery przez lata nadrabiały brak pamięci czystą siłą obliczeń. Engram pokazuje, że być może nadszedł moment, by przestać wszystko liczyć i wreszcie zacząć pamiętać.
Porozmawiaj z nami o sztucznej inteligencji
Dołącz do grupy "AI Business" na Facebooku
Polecamy e-book o AI
AI w marketingu – jak zwiększyć sprzedaż i zaangażowanie klientów?
Test Turinga: Czy AI jest już inteligentniejsze od człowieka?