W świecie sztucznej inteligencji, gdzie dominują zamknięte modele, DeepSeek V3 wprowadza powiew świeżości. To model, który nie tylko rywalizuje z najlepszymi, ale często je przewyższa – i to przy ułamku kosztów. Co więcej, jest w pełni otwarty, co oznacza, że każdy może go pobrać, modyfikować i wykorzystać do swoich potrzeb, nawet w zastosowaniach komercyjnych.
Czym jest DeepSeek V3?
DeepSeek V3 to najnowszy model językowy z rodziny DeepSeek, oparty na architekturze MoE (Mixture of Experts). Ma 671 miliardów parametrów i jest w stanie aktywować 37 miliardów na token, co zapewnia niesamowitą wydajność. Model korzysta też z dodatkowego modułu MTP (Multi-Token Prediction), który pozwala na szybsze przewidywanie większych fragmentów tekstu.
Nie brzmi to jak coś rewolucyjnego? Być może, ale gdy zestawimy to z wynikami osiągniętymi przez DeepSeek V3 w rzeczywistych testach, obraz staje się jaśniejszy. Model dominuje w zadaniach takich jak kodowanie, matematyka i zadania językowe, pokazując, że jest nie tylko potężny, ale też wszechstronny.
Jak DeepSeek V3 wypada w testach?
DeepSeek V3 zdominował wiele kluczowych benchmarków, które mierzą różne aspekty modeli AI.
Kodowanie
W teście Codeforces, który mierzy zdolności programistyczne, DeepSeek V3 osiągnął 51,6%, wyprzedzając Llama 3.1 (25,3%) oraz Qwen 2.5 (28,4%). Wyniki GPT-4o (50,8%) są bardzo zbliżone, ale warto zauważyć, że DeepSeek V3 jest modelem otwartym, podczas gdy GPT-4o jest zamknięty i niedostępny do swobodnego użytku.
Podobnie w zadaniu HumanEval-Mult, które mierzy zdolność do generowania działającego kodu, DeepSeek V3 uzyskał 82,6%, znacznie przewyższając Qwen 2.5 (77,4%) oraz GPT-4o (80,5%).
Matematyka
MATH 500 pokazuje zdolność modeli do rozwiązywania zadań matematycznych. DeepSeek V3 osiągnął tutaj imponujące 90,2%, wyraźnie pokonując Claude 3.5 (86,2%) i Qwen 2.5 (74,7%).
Z kolei w teście AIME 2024, który koncentruje się na zadaniach na poziomie olimpiady matematycznej, DeepSeek V3 osiągnął 39,2%, co stawia go wyżej niż Qwen 2.5 (16,7%) czy Llama 3.1 (23,3%).
Zrozumienie języka
DeepSeek V3 odnosi również sukcesy w zadaniach związanych z językiem. Na przykład w benchmarku MMLU, który mierzy zdolność modelu do odpowiadania na pytania w różnych dziedzinach, uzyskał wynik 88,5%, co stawia go na równi z Claude 3.5 (88,3%) i wyżej niż GPT-4o (87,2%).
W bardziej zaawansowanym teście MMLU-Redux, DeepSeek V3 osiągnął 89,1%, przewyższając zarówno Llama 3.1 (85,6%), jak i Claude 3.5 (88,9%).
Co czyni DeepSeek V3 wyjątkowym?
DeepSeek V3 używa specjalnej technologii o nazwie Multi-Head Latent Attention, która pomaga modelowi skupić się na różnych częściach danych jednocześnie, zamiast przetwarzać wszystko po kolei. Dzięki temu model działa szybciej i efektywniej. Dodatkowo zastosowano zaawansowaną technikę „rozłożenia pracy”, która sprawia, że serwery działające przy treningu nie są przeciążone. To oznacza mniej problemów technicznych i płynniejszy proces trenowania modelu.
Sam trening odbywał się na 14,8 biliona fragmentów tekstu (tzw. tokenów), czyli niesamowicie dużej bazie danych. Do tego wykorzystano nową technologię FP8, która sprawia, że obliczenia są szybsze i mniej kosztowne, a jednocześnie bardzo dokładne. Innymi słowy, model nauczył się lepiej i taniej niż kiedykolwiek wcześniej!
Model jest również w pełni otwarty – można go pobrać, modyfikować i wykorzystać w swoich projektach, także komercyjnych. W przeciwieństwie do zamkniętych rozwiązań, takich jak GPT-4 czy Claude, DeepSeek V3 oferuje pełną transparentność.
Nie można też pominąć faktu, że koszt treningu tego giganta wyniósł zaledwie 5,5 miliona dolarów. To ułamek tego, co kosztowało przeszkolenie GPT-4 (ponad 100 milionów dolarów).