Efekt Deepseek-R1 i Web3-AI

W przeciwieństwie do większości postępów w generatywnej sztucznej inteligencji, wydanie Deepseek-R1 ma prawdziwe implikacje i intrygujące możliwości dla Web3-AI.Zaktualizowano 4 lutego 2025, 18:19 UTCOpublikowano 4 lutego 2025, 18:18 UTC

Świat sztucznej inteligencji (AI) został podjęty przez kilka dni temu wraz z wydaniem DeepSeek-R1, modelu rozumowania typu open source, który pasuje do wydajności najlepszych modeli fundamentów, jednocześnie twierdząc, że został zbudowany przy użyciu niezwykle niskiego budżetu szkoleniowego i budżetu treningowego i Nowe techniki po treningu. Wydanie Deepseek-R1 nie tylko zakwestionowało konwencjonalną mądrość otaczającą skalowanie przepisów modeli fundamentów-które tradycyjnie sprzyjają ogromnym budżetom szkoleniowym-ale zrobiło to w najbardziej aktywnym obszarze badań w tej dziedzinie: rozumowanie.

Otwarte waga (w przeciwieństwie do otwartego źródła) natury wydania sprawiły, że model był łatwo dostępny dla społeczności AI, co prowadzi do wzrostu klonów w ciągu kilku godzin. Ponadto Deepseek-R1 pozostawił swój ślad w trwającym wyścigu AI między Chinami a Stanami Zjednoczonymi, wzmacniając to, co coraz bardziej widoczne: chińskie modele są wyjątkowo wysokiej jakości i w pełni zdolne do prowadzenia innowacji z oryginalnymi pomysłami.

W przeciwieństwie do większości postępów w generatywnej sztucznej inteligencji, które wydają się rozszerzać lukę między Web2 i Web3 w dziedzinie modeli fundamentów, wydanie DeepSeek-R1 ma prawdziwe implikacje i ma intrygujące możliwości dla Web3-AI. Aby je ocenić, musimy najpierw przyjrzeć się kluczowym innowacjom i wyróżniaczom Deepseek-R1.

Wewnątrz Deepseek-R1Deepseek-R1 był wynikiem wprowadzenia przyrostowych innowacji do ugruntowanych ram pretrainingowych dla modeli fundamentów. Mówiąc szeroko, DeepSeek-R1 ma tę samą metodologię szkolenia, co większość głośnych modeli fundamentów. Takie podejście składa się z trzech kluczowych kroków:

PRETRINGING: Model jest początkowo preferowany, aby przewidzieć następne słowo przy użyciu masywnych ilości nieznakowanych danych.

Nadzorowane dostrajanie (SFT): Ten krok optymalizuje model w dwóch krytycznych obszarach: przestrzeganie instrukcji i odpowiadaniu na pytania.

Wyrównanie z ludzkimi preferencjami: Ostateczna faza dostrajania jest przeprowadzana w celu dostosowania odpowiedzi modelu do ludzkich preferencji.

Większość głównych modeli fundamentów – w tym opracowane przez Openai, Google i Anthropic – przestrzega tego samego ogólnego procesu. Na wysokim poziomie procedura treningowa Deepseek-R1 nie wydaje się istotnie inna. Ale, zamiast pretrenować model podstawowy od zera, R1 wykorzystał podstawowy model swojego poprzednika, głębinę-V3-bazę, która oferuje imponujące 617 miliardów parametrów.

Zasadniczo DeepSeek-R1 jest wynikiem zastosowania SFT do DeepSeek-V3-Base z dużym zestawem danych rozumowania. Prawdziwa innowacja polega na budowie tych zestawów danych rozumujących, które są niezwykle trudne do zbudowania.

Pierwszy krok: Deepseek-R1-ZeroJednym z najważniejszych aspektów Deepseek-R1 jest to, że proces nie wytworzył tylko jednego modelu, ale dwa. Być może najważniejszą innowacją Deepseek-R1 było stworzenie modelu pośredniego o nazwie R1-Zero, który specjalizuje się w zadaniach rozumowania. Model ten został prawie całkowicie przeszkolony przy użyciu uczenia się wzmocnienia, przy minimalnym poleganiu na oznaczonych danych.

Uczenie się wzmocnienia jest techniką, w której model jest nagradzany za generowanie poprawnych odpowiedzi, umożliwiając jej uogólnienie wiedzy w czasie.

R1-Zero jest imponujący, ponieważ był w stanie dopasować GPT-O1 w zadaniach rozumowania. Model zmagał się jednak z bardziej ogólnymi zadaniami, takimi jak odpowiadanie pytań i czytelność. To powiedziawszy, celem R1-Zero nigdy nie było stworzenie modelu ogólnego, ale raczej wykazanie, że można osiągnąć najnowocześniejsze możliwości rozumowania za pomocą samego uczenia się wzmocnienia-nawet jeśli model nie działa dobrze w innych obszarach .

Drugi krok: Deepseek-R1Deepseek-R1 został zaprojektowany jako ogólny model, który wyróżnia się rozumowaniem, co oznacza, że ​​musi przewyższyć R1-Zero. Aby to osiągnąć, Deepseek zaczął po raz kolejny od swojego modelu V3, ale tym razem dopracował go do małego zestawu danych rozumowania.

Jak wspomniano wcześniej, rozumowanie zestawów danych są trudne do wyprodukowania. Tutaj odegrał kluczową rolę R1-Zero. Model pośredni zastosowano do wygenerowania syntetycznego zestawu danych rozumowania, który następnie zastosowano do dostosowania Deepseek V3. Proces ten zaowocował kolejnym pośrednim modelem rozumowania, który następnie został przejęty przez obszerną fazę uczenia się wzmocnienia przy użyciu zestawu danych 600 000 próbek, również generowanego przez R1-Zero. Ostatecznym rezultatem tego procesu był Deepseek-R1.

Chociaż pominąłem kilka technicznych szczegółów procesu preferowania R1, oto dwa główne wyniki:

R1-Zero wykazał, że możliwe jest opracowanie wyrafinowanych możliwości rozumowania przy użyciu podstawowego uczenia się wzmocnienia. Chociaż R1-Zero nie był silnym modelem ogólnym, z powodzeniem wygenerował dane rozumowania niezbędne dla R1.

R1 rozszerzył tradycyjny rurociąg pretrenujący używany przez większość modeli fundamentów poprzez włączenie R1-Zero do procesu. Ponadto wykorzystał znaczną ilość syntetycznych danych rozumowania generowanych przez R1-Zero.

W rezultacie DeepSeek-R1 pojawił się jako model, który pasował do możliwości rozumowania GPT-O1, jednocześnie budowany przy użyciu prostszego i prawdopodobnie znacznie tańszego procesu wstępnego.

Wszyscy zgadzają się, że R1 oznacza ważny kamień milowy w historii generatywnej sztucznej inteligencji, który może przekształcić sposób rozwijania modeli fundamentów. Jeśli chodzi o Web3, interesujące będzie zbadanie, w jaki sposób R1 wpływa na ewoluujący krajobraz Web3-AI.

Deepseek-R1 i Web3-AIDo tej pory Web3 starał się ustalić przekonujące przypadki użycia, które wyraźnie zwiększają wartość tworzenia i wykorzystania modeli fundamentów. Do pewnego stopnia tradycyjny przepływ pracy dla modeli fundamentów pretrenujących wydaje się być antytezą architektur Web3. Jednak pomimo tego, że jest na wczesnym etapie, wydanie Deepseek-R1 podkreśliło kilka możliwości, które mogą naturalnie dostosować się do architektur Web3-AI.

1) Uczenie się wzmacniające dopracowanie sieci

R1-Zero wykazał, że możliwe jest opracowanie modeli rozumowania za pomocą czystego uczenia się wzmocnienia. Z obliczeniowego punktu widzenia uczenie się wzmocnienia jest wysoce równoległe, dzięki czemu jest odpowiednie dla zdecentralizowanych sieci. Wyobraź sobie sieć Web3, w której węzły są kompensowane za dostrajanie modelu zadań uczenia się wzmocnienia, z których każda stosuje różne strategie. Takie podejście jest znacznie bardziej wykonalne niż inne paradygmaty pretracjonalne, które wymagają złożonych topologii GPU i scentralizowanej infrastruktury.

2) Syntetyczne generowanie zestawu danych rozumowania

Kolejnym kluczowym wkładem DeepSeek-R1 było pokazanie znaczenia zestawów danych wygenerowanych syntetycznie rozumowania dla zadań poznawczych. Proces ten jest również odpowiedni dla zdecentralizowanej sieci, w której węzły wykonują zadania generowania zestawów danych i są kompensowane, ponieważ te zestawy danych są używane do modeli fundamentów pretrencyjnych lub dostrajających. Ponieważ dane te są generowane syntetycznie, cała sieć może być w pełni zautomatyzowana bez interwencji człowieka, dzięki czemu idealnie nadaje się do architektury Web3.

3) Zdecentralizowane wnioskowanie dla małych destylowanych modeli rozumowania

Deepseek-R1 to ogromny model z 671 miliardami parametrów. Jednak prawie natychmiast po jego wydaniu pojawiła się fala destylowanych modeli rozumowania, od 1,5 do 70 miliardów parametrów. Te mniejsze modele są znacznie bardziej praktyczne pod względem wnioskowania w zdecentralizowanych sieciach. Na przykład model destylowany R1 1,5B – 2B mógłby być osadzony w protokole DeFI lub wdrażany w węzłach sieci DEPin. Mówiąc prościej, prawdopodobnie zobaczymy wzrost opłacalnych punktów końcowych rozumowania zasilanych przez zdecentralizowane sieci obliczeniowe. Rozumowanie to jedna domena, w której zwęża się różnica wydajności między małymi i dużymi modelami, co daje unikalną okazję dla Web3 w celu skutecznego wykorzystania tych destylowanych modeli w zdecentralizowanych ustawieniach wnioskowania.

4) Powstanie danych rozumowania

Jedną z cech definiujących modeli rozumowania jest ich zdolność do generowania śladów rozumowania dla danego zadania. DeepSeek-R1 udostępnia te ślady w ramach jego wyników, wzmacniając znaczenie pochodzenia i identyfikowalności dla zadań rozumowania. Internet działa dziś przede wszystkim na wyjściach, z niewielką widocznością w średnich krokach, które prowadzą do tych wyników. Web3 stanowi okazję do śledzenia i weryfikacji każdego etapu rozumowania, potencjalnie tworząc „nowy Internet rozumowania”, w którym przejrzystość i weryfikowalność stają się normą.

Web3-AI ma szansę w erze rozumowania po R1Wydanie Deepseek-R1 oznaczało punkt zwrotny w ewolucji generatywnej AI. Łącząc sprytne innowacje z ustalonymi paradygmatami pretrenującymi, zakwestionował tradycyjne przepływy pracy AI i otworzył nową erę w sztucznej inteligencji rozumowania. W przeciwieństwie do wielu poprzednich modeli fundamentów, DeepSeek-R1 wprowadza elementy, które przybliżają generatywne sztuczną inteligencję do Web3.

Kluczowe aspekty zestawów danych R1 – syntetyczne rozumowanie, bardziej równoległe trening i rosnąca potrzeba identyfikowalności – naturalnie wyrównane z zasadami Web3. Podczas gdy Web3-AI walczył o uzyskanie znaczącej przyczepności, ta nowa epoka rozumowania post-R1 może stanowić najlepszą okazję do odgrywania bardziej znaczącej roli w przyszłości sztucznej inteligencji.