Geoffrey Hinton, profesor la Universitatea din Toronto și bursier de inginerie la Google creier, a publicat recent o lucrare despre Înainte-Înainte algoritm (FF), o tehnică de antrenament a rețelelor neuronale care utilizează două treceri înainte de date prin rețea, în loc de propagarea înapoi, pentru a actualiza greutățile modelului.

Motivația lui Hinton pentru algoritm este de a aborda unele dintre deficiențele antrenamentului standard de backpropagation, care necesită cunoașterea deplină a calculului în trecerea înainte pentru a calcula derivate și a stoca valorile de activare în timpul antrenamentului. Perspectiva lui Hinton a fost să folosească două treceri înainte de date de intrare — una pozitiv și unul negativ—care au funcții obiective opuse de optimizat. Hinton a arătat că rețelele antrenate cu FF ar putea îndeplini sarcini de viziune computerizată (CV), precum și cele antrenate folosind retropropagarea. Potrivit lui Hinton,

Algoritmul Forward-Forward (FF) este comparabil ca viteză cu propagarea înapoi, dar are avantajul că poate fi utilizat atunci când detaliile precise ale calculului înainte sunt necunoscute. De asemenea, are avantajul că poate învăța în timp ce transmite date secvențiale printr-o rețea neuronală fără să stocheze vreodată activitățile neuronale sau să se oprească pentru a propaga derivate de eroare... Cele două domenii în care algoritmul înainte-înainte poate fi superior propagării înapoi sunt ca model. de învățare în cortex și ca o modalitate de a utiliza hardware-ul analog de foarte mică putere fără a recurge la învățare prin întărire.

Deși rețelele neuronale artificiale (ANN) se bazează pe a modelul matematic al creierului, algoritmul standard de backpropagation folosit pentru a antrena aceste rețele nu se bazează pe niciun proces biologic cunoscut. Pe lângă faptul că este neplauzibilă din punct de vedere biologic, propagarea inversă are și unele dezavantaje de calcul, așa cum s-a menționat mai sus. Hinton subliniază că ANN-urile pot fi antrenate folosind învățarea prin întărire (RL) fără propagare inversă, dar această tehnică „se scalează prost... pentru rețele mari care conțin multe milioane sau miliarde de parametri”. În 2021, InfoQ a acoperit o alternativă plauzibilă biologic la backpropagation numită învăţare prin inferenţă cu divergenţă zero (Z-IL) care poate reproduce exact rezultatele retropropagarii.

Algoritmul FF al lui Hinton înlocuiește trecerile înainte-înapoi ale antrenamentului de propagare inversă cu două treceri înainte care „operează în același mod una ca cealaltă”. Prima trecere înainte operează pe date pozitive dintr-un set de antrenament, iar greutățile rețelei sunt ajustate pentru a face ca această intrare să mărească nivelul unui strat. Cel mai bun valoare. În a doua trecere înainte, rețelei primește un exemplu negativ generat care nu este preluat din setul de date. Greutățile rețelei sunt ajustate astfel încât această intrare să scadă bunătatea unui strat.

Hinton a folosit FF pentru a antrena mai multe rețele neuronale pentru a efectua sarcini CV pe MNIST și CIFAR seturi de date. Rețelele erau relativ mici, conținând două sau trei straturi convoluționale ascunse și erau antrenate pentru mai puțin de 100 de epoci. Când au fost evaluate pe seturile de date de testare, rețelele antrenate cu FF au avut rezultate „doar puțin mai slabe” decât cele antrenate folosind propagarea inversă.

Diego Fiori, CTO la Nebuly, a implementat algoritmul FF al lui Hinton și a discutat despre rezultatele sale pe Twitter:

Lucrarea lui Hinton a propus 2 algoritmi diferiți Forward-Forward, pe care i-am numit Base și Recurrent. Să vedem de ce, în ciuda numelui, Base este de fapt cel mai performant algoritm... algoritmul Base FF poate fi mult mai eficient în memorie decât backpropul clasic, cu economii de memorie de până la 45% pentru rețelele adânci.