Least Square (LS) and Least Mean Square (LMS)

[nuitari]

Salve a tutti
Mi presento, mi chiamo Alessio e sono un dottorando in ingegneria elettronica. Sto attualmente scrivendo la mia tesi e vorrei inserire alcune linee spiegando un concetto che non ho ben chiaro io stesso, quindi volevo chiedere aiuto a qualche matematico con un background migliore del mio nell´argomento.
Premetto che ho cercato prima su internet, ma non ho trovato la risposta alla mia domanda.

Dunque, ho un set di misure riassunte in due vettori x and y e affette da rumore.
Con MATLAB, posso calcolare il polinomio che mi rappresenta il miglior fitting usando la funzione polyfit. Questa mi applica il least square algorithm (LS) e i miei vettori rappresentano un sistema overdeterminato. La funzione sará quindi quella che minimizza la distanza tra la funzione stessa e i punti.

Quello che posso anche fare peró é usare un filtro adattativo. Il filtro prende ad ogni istante di tempo un valore delle x e delle y e mi aggiorna i coefficenti del filtro in mondo da minimizzare l´errore (LMS filter o wiener filter). Chiaramente dopo un tempo di assestamento il filtro avrá coefficienti piú o meno stabili.

Ora la mia domanda é: come sono collegate queste due soluzioni? Nel senso, posso dire che convergono allo stesso polinomio? Oppure vi é una soluzione subottima rispetto all´altra e in base a cosa?
Ho sempre studiato e visto i due concetti slegati l´uno rispetto all´altro e vorrei provare a collegarli

Grazie dell´aiuto

Alessio

[ciampax]

Ciao Alessio e benvenuto. La tua domanda, più che di algebra e geometria, è una questione di analisi numerica, per cui ti consiglio di riportarla in quella sezione (non per qualcosa, semplicemente è più facile che la legga chi è più esperto con gli strumenti che stai adoperando).
Se ho capito bene, comunque, ti stai chiedendo se c'è una relazione tra il metodo dei minimi quadrati (LS) e quello del gradiente stocastico (LMS): sinceramente non conosco bene il secondo, ma dal momento che è una forma "probabilistica" associata alla regressione lineare, suppongo di sì. Tra l'altro, nel secondo viene usato un errore quadratico medio, che è proprio il "centro" attorno a cui gira il primo metodo (minimizzazione della somma dei quadrati). Comunque, sicuramente qualcuno ti potrà spiegare meglio quale sia la relazione intercorrente.

[nuitari]

Ciao ciampax, grazie!
Effettivamente non ero ben sicuro della sezione
Ti ringrazio, copio il topic di lá allora. Chiedo ai moderatori se per favore possono chiudere la conversazione qui.
Grazie!